DeepInfer:DeepSeek 大规模推理框架
DeepSeek 生产服务使用的高性能推理框架开源版,支持 DeepSeek-V4.1-Flash 的离线推理。
DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架的开源版本,当前提供离线推理能力,支持模型为 DeepSeek-V4.1-Flash。特性包括优化的内核与模型/采样器运行时(FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及自定义 TileLang 内核)、Attention DP 与均衡 CP、MoE EP + EPLB 并行、DSpark 与按置信度调度的验证加速、SWA 有界重放减少 prefill 计算、异步调度(默认开启)、批不变推理、确定性采样,以及按正则、JSON schema 或 EBNF 文法约束的结构化输出。支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU,需 Linux、GCC ≥13、Python 3.12、CUDA 13 或 CANN 9.2。首次运行会从 Hugging Face 下载默认权重,也可用环境变量指定本地目录。本次发布不含完整推理服务所需的 KV cache 系统、VE/Prefill/Decode 分离和跨副本负载均衡(大部分引擎功能已实现)。Apache 2.0 许可,基于 vLLM 等项目构建。