nano-vllm:从零实现的轻量 vLLM
约 1200 行 Python 从零实现的轻量级 vLLM,提供离线推理与前缀缓存、张量并行、CUDA graph 等优化。
nano-vLLM 是一个从零编写的轻量 vLLM 实现,代码约 1200 行 Python,主打可读性。功能包括快速离线推理,以及前缀缓存、张量并行、Torch 编译、CUDA graph 等优化套件。API 与 vLLM 接口基本一致,LLM.generate 方法有细微差别,用法见 example.py,基准测试见 bench.py。README 给出的测试环境为 RTX 4070 Laptop(8GB)、Qwen3-0.6B、256 条请求,输出吞吐为 1434.13 tokens/s,对照 vLLM 的 1361.84 tokens/s。