TokenSpeed:面向 Agent 负载的 LLM 推理引擎
面向智能体工作负载的 LLM 推理引擎,将控制面与执行面分离,内核作为可插拔子系统。
TokenSpeed 是面向 agentic 工作负载的 LLM 推理引擎。其核心组件包括:调度器采用 C++ 控制面与 Python 执行面,请求生命周期、KV cache 所有权与重叠时序以有限状态机编码,KV 资源安全复用由类型系统在编译期保证;内核采用可插拔分层体系,具备可移植公共 API 与集中注册表,包含面向 Blackwell 的 MLA 实现;入口由 SMG 和 Dynamo 通过 Rust 以 msgpack 驱动,请求路径上无 Python。文档涵盖入门、启动服务器、模型配方、服务器参数、并行等内容。项目由非营利 LightSeek Foundation 支持。