dInfer:扩散语言模型推理框架
面向 dLLM 的高效可扩展推理框架,将推理拆分为模型、扩散迭代管理器、解码器与 KV 缓存管理器四个组件,支持批量推理。
支持 LLaDA、LLaDA-MoE、LLaDA2 等多种扩散语言模型变体,各组件提供 API 以便灵活组合算法,并支持批量推理提升吞吐。LLaDA-MoE 需先用 tools/transfer.py 转换为 FusedMoE 格式;后端方面 LLaDA/LLaDA-MoE 用 vLLM,LLaDA2 用 SGLang。提供基于 lm-eval-harness 的速度与精度评测(如 gsm8k_llada、mbpp_sanitized_llada)。限制:block diffusion 仅支持 LLaDA2,不支持 LLaDA Dense/MoE 模型。