SGLang-FluentLLM：LongCat模型的推理引擎与内核

SGLang-FluentLLM是LongCat系列模型配套的推理引擎，基于SGLang代码库改造，配合该系列模型的模型-系统协同设计。引擎方面重构了投机解码流程以兼容overlap调度，将Target、Verify、Draft合并进单个CUDA graph以降低开销，支持Eagle、MTP、PLD三种投机解码方式；还提供逐层KVCache传输（prefill计算与KVCache通信重叠）以及Decode Radix Tree Cache以减少PD间KVCache传输量。内核方面开源了FlashMLA的SwapAB与FP8 KVCache/FP8 Compute优化（对应SnapMLA论文）、DeepGemm的SwapAB Offset与PDL优化，以及FlashInfer中通信-计算融合内核优化。注意：因使用Dynamo做KVCache感知调度，仓库移除了sgl-model-gateway；多模态采用解耦架构，多模态支持已从本仓库移除（内部仍将其作为多模态推理的LLM骨干）。已在Nvidia H800/H20 GPU上测试，使用方式参见Quick Start。