SGLang:LLM与多模态模型的高性能推理框架
面向大语言、视觉语言和扩散模型的开源推理框架,针对智能体工作负载、大规模服务和强化学习 rollout 优化。
SGLang 是一个开源推理框架,服务于大语言模型、视觉语言模型和扩散模型,针对智能体工作负载、大规模服务和强化学习 rollout 进行优化。仓库内置 SGLang Diffusion 图像与视频生成引擎,随 sglang Python 包一同发布。支持广泛的硬件平台,包括 NVIDIA B200/H100/A100/RTX 系列、AMD Instinct MI300X 等、Google TPU(通过 SGLang-TorchTPU 或 SGL-JAX)、Intel GPU/CPU、Apple Silicon(Metal/MLX)、华为昇腾 NPU 及 Moore Threads 等。生态涵盖音频服务(SGLang Omni)、投机解码(SpecForge)、RL 与后训练框架(Miles、slime、AReaL、Tunix、verl)以及部署编排方案(SMG、RBG、llm-d、Ray Serve、NVIDIA Dynamo)。提供 Docker 镜像和 uv 安装两种快速开始方式,由非营利组织 LMSYS 托管。