UniRL：统一多模态模型强化学习框架
分层可组合的 RL 后训练框架，用同一套生成、打分、优势计算、策略更新流程覆盖多类多模态模型。
UniRL 是一个面向统一多模态模型的强化学习后训练框架，把同一套 RL 循环——生成样本、打分、计算优势、更新策略、把权重同步回 rollout worker——应用于多类模型。系统分层可组合：每个训练入口加载 Hydra 示例配置并创建对应的领域 trainer，RL trainer 协调可插拔的 rollout 引擎、算法、模型包、奖励服务与共享分布式运行时（Ray DevicePool、FSDP、Transfer Queue、LoRA/全量权重同步）；SFT 消费监督数据清单，异步 AR 与 diffusion 入口在不同 GPU 分片上让 rollout 与训练重叠。团队自研算法包括 Flow-DPPO（面向 flow matching 模型的散度近端策略优化）、DRPO（LLM RL 中散度正则化的重思考）、CPPO（位置加权的累积前缀预算 Binary-TV 掩码），另接入 GRPO、DiffusionNFT、DanceGRPO、MixGRPO 等参考算法。模型支持覆盖图像/视频扩散（SD 3.5、Qwen-Image、FLUX.2-Klein、WAN 2.1/2.2、HunyuanVideo 等）、统一 AR+扩散（HunyuanImage 3.0、BAGEL-7B-MoT、Janus-Pro）、LLM/VLM AR（Qwen3、Qwen2.5-VL）、全模态（Qwen3-Omni Thinker）与世界模型（Cosmos3-Nano，仅 SFT）等，模型与算法是两个可组合的独立维度，部分模型仅支持特定 rollout 引擎或仅有 bundle/SFT 路径。v0.2.0 提供 12 个新模型包、SFT/agentic/async 训练模式及 SGLang 0.5.19 与 vLLM-Omni 0.28 rollout 栈。