投稿 提交工具 投放合作

Mooncake:以KVCache为中心的LLM推理服务架构

大语言模型 7.1k(+10) 1.5k C++ 2026-11-17 在 GitHub 打开

面向大模型推理服务的KVCache中心化分离式架构,提供分布式KV缓存池与跨节点数据传输引擎。

Mooncake 是 Kimi(Moonshot AI 提供的大模型服务)所使用的推理服务平台,核心思路是以 KVCache 为中心组织分离式(prefill/decode 分离)的 LLM 服务。它包含两大部分:Mooncake Store 提供跨实例共享的分布式 KV 缓存池,支持内容寻址的缓存复用与前缀复用;Mooncake Transfer Engine 提供基于 RDMA 的零拷贝跨设备、跨机器数据传输,支撑 PD/EPD 分离部署。README 记录了与 vLLM、SGLang、TensorRT-LLM、LMDeploy、LMCache 等推理框架的集成进展,以及在强化学习训练中传输权重、隐藏状态等张量的用法。Transfer Engine 以 PyPI 多种 wheel 形式发布(含 CUDA、ROCm、NPU 等变体),并提供 Docker 镜像。README 称在真实负载下该架构使 Kimi 在遵守 SLO 的前提下多处理 75% 的请求。

Star 趋势2026-11-06 — 2026-11-17当前 Stars 7.1k24h +107 日 +58

7k7.1k11-0611-0811-1111-1211-1311-1411-1511-1611-17