投稿 提交工具 投放合作

DeepInfer:DeepSeek 大规模推理框架

大语言模型 26.1k(+39) 3.2k C++ 2026-11-16 在 GitHub 打开

DeepSeek 生产服务使用的高性能推理框架开源版,支持 DeepSeek-V4.1-Flash 的离线推理。

DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架的开源版本,当前提供离线推理能力,支持模型为 DeepSeek-V4.1-Flash。特性包括优化的内核与模型/采样器运行时(FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及自定义 TileLang 内核)、Attention DP 与均衡 CP、MoE EP + EPLB 并行、DSpark 与按置信度调度的验证加速、SWA 有界重放减少 prefill 计算、异步调度(默认开启)、批不变推理、确定性采样,以及按正则、JSON schema 或 EBNF 文法约束的结构化输出。支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU,需 Linux、GCC ≥13、Python 3.12、CUDA 13 或 CANN 9.2。首次运行会从 Hugging Face 下载默认权重,也可用环境变量指定本地目录。本次发布不含完整推理服务所需的 KV cache 系统、VE/Prefill/Decode 分离和跨副本负载均衡(大部分引擎功能已实现)。Apache 2.0 许可,基于 vLLM 等项目构建。

Star 趋势2026-11-07 — 2026-11-16当前 Stars 26k24h +397 日 +427

26k11-0711-0911-1111-1211-1311-1411-1511-16