投稿 提交工具 投放合作

inference-optimisation:本地LLM服务提速的Agent技能

NEW
Skills 647 61 Python 2026-11-17 在 GitHub 打开

面向本地LLM服务的Agent技能,指导在任意硬件与量化配置下逐项爬坡优化解码、预填充、KV缓存、启动与首token延迟,并配套基准测试脚本。

这是一个Agent技能,用于在内存上限内系统性提升本地LLM服务速度,覆盖单用户与并发解码、投机解码、预填充、KV缓存容量、启动时间和首token延迟,每次结果都要通过全上下文稳定性检查。工作流程包括先计算理论性能上限、每次只改一个变量、与交错运行的对照组比较、记录包括失败在内的全部结果、用长上下文检索做门禁验证,最后在干净且固定版本的构建上确认后再发布。技能由三部分组成:SKILL.md描述流程与杠杆顺序;references/按需加载,包含上限计算方法、测量陷阱、各杠杆的实测证据、vLLM/SGLang/llama.cpp/ExLlama及Intel、NVIDIA、Apple、AMD硬件上的已知问题,以及发布与验收规范;scripts/提供与引擎无关的测试工具,其中bench.py可测量OpenAI兼容服务的启动、短提示首token延迟、单并发与多并发解码、多长度冷预填充、长上下文针状检索和峰值内存,并把结果写入ledger.jsonl,另有ceiling.py计算理论上限、queue.sh串行化交错运行对照与候选、mem.sh统计容器真实内存占用(含统一内存GPU上的驱动驻留)。技能可被Claude Code及任何加载SKILL.md式技能的Agent使用,也可按PROMPT.md由任意模型执行。README还列出了多组硬件上的实测提速数据,并说明部分目标受物理上限约束。