投稿 提交工具 投放合作

VeOmni:多模态模型训练框架

大语言模型 2.3k(+2) 321 Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

支持单模态与多模态预训练、后训练的 PyTorch 训练框架,提供分布式并行与多加速器支持。

VeOmni 是一个用于单模态与多模态模型预训练和后训练的框架,采用模块化设计,组件可替换;训练脚本为线性脚本而非固定 trainer 类,同时提供基础 trainer 与强化学习 trainer 作为后端。功能包括 FSDP2 训练后端、基于 DeepSpeed Ulysses 的序列并行(支持同步与异步模式)、面向 MoE 模型的专家并行、GroupGemm 与 Liger-Kernel、兼容 HuggingFace Transformers 的模型(如 Qwen3、Qwen3-VL、Qwen3-Moe)、动态批处理与 Omnidata 处理、Torch Distributed Checkpoint,以及 wandb 实验跟踪。支持 NVIDIA GPU、AMD ROCm、Ascend NPU、Cambricon MLU 训练。README 列出的模型涵盖 DeepSeek、Llama3、Qwen 系列、GPT-OSS、Wan、HunyuanVideo 等。

Star 趋势2026-11-10 — 2026-11-20当前 Stars 2.3k24h +27 日 +7

2.3k11-1011-1111-1211-1311-1411-1511-1611-1711-1811-20