YuE2:符号与音频统一的歌曲生成模型
输入歌词与风格提示,先生成可编辑的旋律与和弦谱,再渲染成含人声与伴奏的完整歌曲。
YuE2 是歌曲生成模型:先用符号规划写出旋律与和弦方案,再由 AR–NAR 混合 Transformer 预测谱面与语义 token,经流匹配生成声学潜变量,最后由 VAE 解码为 48kHz 立体声音频。分阶段 API 为 plan() → generate_semantic() → synthesize() → decode(),谱面可人工或由 Agent 检查修改。支持三种模式:cot="full" 生成完整可编辑方案(新歌默认)、cot="melody" 仅定旋律、cot="off" 直接生成;也可传入自定义 ABC 谱。配合 SheetSage2 转录音源可做零样本翻唱。运行需 Linux、Python 3.12、支持 BF16 且显存 24GB 的 NVIDIA GPU,模型文件首次使用时从 Hugging Face 下载。