LongCat-Flash-Chat:MoE语言模型
560B总参数、按需激活约27B参数的MoE非思考型基础模型,面向agentic任务,附技术报告。
LongCat-Flash是美团发布的MoE架构语言模型,总参数560B,根据上下文动态激活18.6B至31.3B参数(平均约27B)。当前发布的是LongCat-Flash-Chat非思考型基础模型,README称其在agentic任务上有突出表现。技术要点包括:零计算专家机制配合PID控制器调整专家偏置以均衡计算负载、Shortcut-connected MoE(ScMoE)设计扩大计算-通信重叠窗口、超参数迁移与半尺度检查点增长初始化等稳定性与扩展策略、多阶段训练流水线构建agentic能力。仓库提供技术报告链接与多个基准测试对比表。