Yuan3.0 Flash:40B MoE 多模态基础模型
YuanLab.ai 团队发布的 40B 参数 MoE 多模态大语言模型,每次推理激活约 3.7B 参数,支持 128K 上下文。
Yuan 3.0 Flash 是 YuanLab.ai 团队发布的 40B 参数多模态基础模型,采用 MoE 架构,每次推理仅激活约 3.7B 参数,支持文本、图像、表格、文档等多模态输入与 128K 上下文长度。模型使用名为 RAPO 的强化学习训练方法,通过 Reflection Inhibition Reward Mechanism 抑制冗余推理行为以缩短输出。README 公布了其在 ChatRAG、Docmatix、MMTab 等基准上的评测对比数据,并提供 16bit 与 4bit 权重的 ModelScope、HuggingFace、WiseModel 下载链接,同时发布了技术报告。