Ming-flash-omni 2.0:开源全模态多模态大模型
Ming-flash-omni 2.0 是基于 Ling-2.0 MoE 架构的开源全模态 MLLM,支持图像、文本、视频、音频输入与图像、文本、音频输出。
Ming-flash-omni 2.0 是一个开源全模态多模态大语言模型(omni-MLLM),采用 Ling-2.0 架构,为 100B 总参数、6B 激活参数的 Mixture-of-Experts 模型。它在多模态理解与生成上提供三方面能力:一是结合高分辨率视觉与知识图谱的多模态认知,可识别动植物、文化地标与文物并给出分析;二是统一的声学生成管线,将语音、音频与音乐整合在单一通道中,通过连续自回归结合 Diffusion Transformer 头实现零样本声音克隆与情感、音色等属性控制;三是统一的图像分割、生成与编辑多任务架构,支持场景合成、物体移除等图像操作。模型输入模态为图像、文本、视频、音频,输出为图像、文本、音频,权重可从 Hugging Face 与 ModelScope 下载。仓库提供分步运行示例与 cookbook.ipynb 供详细用法参考。