投稿 提交工具 投放合作

SGLang:LLM与多模态模型的高性能推理框架

大语言模型 38.9k(+20) 10.7k Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

面向大语言、视觉语言和扩散模型的开源推理框架,针对智能体工作负载、大规模服务和强化学习 rollout 优化。

SGLang 是一个开源推理框架,服务于大语言模型、视觉语言模型和扩散模型,针对智能体工作负载、大规模服务和强化学习 rollout 进行优化。仓库内置 SGLang Diffusion 图像与视频生成引擎,随 sglang Python 包一同发布。支持广泛的硬件平台,包括 NVIDIA B200/H100/A100/RTX 系列、AMD Instinct MI300X 等、Google TPU(通过 SGLang-TorchTPU 或 SGL-JAX)、Intel GPU/CPU、Apple Silicon(Metal/MLX)、华为昇腾 NPU 及 Moore Threads 等。生态涵盖音频服务(SGLang Omni)、投机解码(SpecForge)、RL 与后训练框架(Miles、slime、AReaL、Tunix、verl)以及部署编排方案(SMG、RBG、llm-d、Ray Serve、NVIDIA Dynamo)。提供 Docker 镜像和 uv 安装两种快速开始方式,由非营利组织 LMSYS 托管。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 39k24h +207 日 +31

39k11-0811-1211-1411-1611-1811-21