投稿 提交工具 投放合作

Haru:低延迟多语言全双工语音对话模型

NEW
音频语音 712(+22) 66 Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

Haru-4B 全双工语音对话模型的推理代码,边听边说、7.5Hz 逐帧生成,含 PyTorch、MLX 与 vLLM-Omni 三种实现及网页演示。

Haru 是低延迟、多语言的全双工语音对话模型 Haru-4B 的推理仓库。模型每 133ms 处理一帧用户音频并产出一帧自身音频与文本,用户音频、模型音频和模型文本汇总到语言模型的同一位置,听与说互不等待。音频为每帧 64 维连续潜变量,由小型 MLP 头配合 MeanFlow 采样一步生成,没有独立音频 Transformer,也没有离散音频令牌。支持英、西、葡、德、法、中、日、俄、韩九种语言,可用文本卡设定角色、短参考音频设定音色。仓库含 PyTorch 实现与网页演示、Apple Silicon 的 MLX 实现及 macOS 原生应用、vLLM-Omni 插件,三者读取同一检查点。音频编解码使用因果 VibeVoice 声学 tokenizer(24kHz)。作者说明这是用于研究的预训练基座模型,能自然对话但不是可靠的事实来源,也不像助手那样遵循指令;代码与权重采用 Apache 2.0。

Star 趋势2026-11-17 — 2026-11-21当前 Stars 71224h +22

55963671211-1711-1811-2011-21