投稿 提交工具 投放合作

dInfer:扩散语言模型推理框架

大语言模型 490 48 Python 2026-11-16 访问官网 ↗ 在 GitHub 打开

面向 dLLM 的高效可扩展推理框架,将推理拆分为模型、扩散迭代管理器、解码器与 KV 缓存管理器四个组件,支持批量推理。

支持 LLaDA、LLaDA-MoE、LLaDA2 等多种扩散语言模型变体,各组件提供 API 以便灵活组合算法,并支持批量推理提升吞吐。LLaDA-MoE 需先用 tools/transfer.py 转换为 FusedMoE 格式;后端方面 LLaDA/LLaDA-MoE 用 vLLM,LLaDA2 用 SGLang。提供基于 lm-eval-harness 的速度与精度评测(如 gsm8k_llada、mbpp_sanitized_llada)。限制:block diffusion 仅支持 LLaDA2,不支持 LLaDA Dense/MoE 模型。

Star 趋势2026-11-08 — 2026-11-17当前 Stars 4907 日 -1

49049111-0811-0911-1111-1211-1311-1411-1511-1611-17