投稿 提交工具 投放合作

VoxCPM:无离散token的文本转语音模型

音频语音 42.2k(+34) 4.9k Python 2026-11-17 访问官网 ↗ 在 GitHub 打开

基于扩散自回归架构的开源TTS系统,支持30种语言、声音设计、可控声音克隆与48kHz输出。

VoxCPM是一个无tokenizer的文本转语音系统,通过端到端扩散自回归架构直接生成连续语音表示,跳过离散token化。最新版本VoxCPM2为2B参数模型,基于MiniCPM-4骨干,在200多万小时多语言语音数据上训练,支持30种语言(含多种中文方言)直接合成而无需语言标签,输出48kHz音频(接受16kHz参考音频,由AudioVAE V2内置超分辨率完成,无需外部上采样)。功能包括:仅凭自然语言描述即可创建全新声音的Voice Design;从短参考片段克隆声音并可选风格引导的可控克隆;同时提供参考音频与转写、从参考处无缝续写的Ultimate Cloning;根据文本内容自动推断韵律的上下文感知合成。实时流式推理在NVIDIA RTX 4090上RTF约0.3,经Nano-vLLM或vLLM-Omni加速约0.13,vLLM-Omni提供带PagedAttention与OpenAI兼容API的生产级服务;llama.cpp-omni支持CPU/Metal/CUDA/Vulkan的端侧GGUF推理。权重与代码以Apache-2.0许可发布,可商用,另提供SFT与LoRA微调。

Star 趋势2026-11-07 — 2026-11-17当前 Stars 43k24h +347 日 +782

41k42k43k11-0711-0911-1111-1211-1311-1411-1511-1611-17