投稿 提交工具 投放合作

llmfit:检测硬件并推荐可运行的开源LLM

效率工具 39.2k(+58) 2.5k Python 2026-11-21 在 GitHub 打开

检测 CPU、内存、GPU 与显存,按量化格式估算模型内存占用和速度,推荐你的硬件能流畅运行的开源大模型。

llmfit 是一个终端工具,用于找出你的硬件能舒适运行哪些开源大语言模型。它自动检测 CPU 核心、系统内存、独立/集成 GPU、显存及统一内存架构(支持 NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI),并结合模型参数量、上下文长度和量化格式(GGUF、AWQ、GPTQ、EXL2)估算内存占用与 tokens-per-second 表现。提供交互式 TUI(默认)和经典 CLI 两种模式,另有 Web 仪表盘和 REST API(/api/v1/system、/api/v1/models)供编排器与自动化流水线集成。支持多 GPU、MoE 架构、动态量化选择、速度估算,以及 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地运行时。还支持基准测试:下载模型、本地服务并测量真实 tok/s,结果先保存在本地,可作为 PR 贡献回项目,让相同硬件的用户获得实测数据。跨平台支持 macOS、Linux 和 Windows。

Star 趋势2026-11-07 — 2026-11-22当前 Stars 39k24h +587 日 +219

39k11-0711-1211-1411-1611-1811-2111-22