ERNIE-4.5-VL-28B-A3B-Thinking

大语言模型 7.7k 1.4k Python 上架 2026-11-08 访问官网 ↗ 在 GitHub 打开

ERNIE-4.5-VL-28B-A3B-Thinking是在ERNIE-4.5-VL-28B-A3B基础上训练的深度思考模型，在视觉语言多模态理解能力上实现了显著提升。通过大规模的中期训练，该模型...

ERNIE 4.5 Open-source2025-06-30
ERNIE 4.5 发布，这是百度的多模态模型家族，共 10 个版本，含 47B、3B 激活参数的 MoE 模型（最大 424B 总参数）以及 0.3B 稠密模型。MoE 部分采用异构模态结构，跨模态共享参数，同时保留各模态专用参数，因此多模态能力提升的同时，文本任务表现不降反升。基于 PaddlePaddle 训练，最大模型预训练 MFU 达到 47%。在指令遵循、世界知识、视觉理解与多模态推理等多项基准上取得最好成绩，全部模型以 Apache 2.0 开源。配套开源 ERNIEKit 开发工具包，主打工业级训练与压缩能力： - 工业级高性能预训练：3D 混合并行与 FP8 混合精度加速。 - 低比特量化感知微调：FP8 QAT 结合优化器卸载，将 ERNIE 4.5-300B-A47B 微调门槛从 96 张 GPU 降到 16 张，性能不损；产物支持离线逐张量 FP8 量化推理，省去推理时的动态量化开销。 - 可视化训练调试界面：基于 Gradio 的 WebUI，零代码完成微调、对齐与推理。 - 多硬件支持：兼容 NVIDIA GPU、昆仑芯 XPU、昇腾 NPU。