HunyuanVideo-Avatar：音频驱动人物动画模型
腾讯混元的多模态扩散 Transformer 模型，以音频为条件生成高动态、情绪可控、支持多角色的对话视频，已开源推理代码与权重。
HunyuanVideo-Avatar 是基于多模态扩散 Transformer（MM-DiT）的模型，以音频为条件生成动态、情绪可控、支持多角色的对话视频。三项关键设计：角色图像注入模块替代传统的加法式角色条件，消除训练与推理间的条件不匹配；音频情绪模块（AEM）从情绪参考图提取并迁移情绪线索；面部感知音频适配器（FAA）用潜在层面部掩码隔离被音频驱动的角色，通过交叉注意力独立注入音频以支持多角色。输入支持写实、卡通、3D 渲染、拟人等多种风格头像，覆盖半身、全身等尺度。仓库已开源推理代码与模型权重，ComfyUI 支持尚未提供。需要 NVIDIA CUDA GPU，最低 24GB 显存（704x768x129 帧，速度很慢），推荐 96GB；已在 8 卡机器上测试，支持多卡并行、单卡推理，借助 TeaCache 可在 10GB 显存单卡运行，另提供 Gradio 服务。