投稿 提交工具 投放合作

Magnitude:本地模型推理引擎

开发框架 7.9k(+15) 574 JavaScript 2026-11-17 访问官网 ↗ 在 GitHub 打开

开源推理引擎,按硬件自动调优内核以加速本地模型运行。

Magnitude 是一个开源推理引擎,在下载模型时针对你的硬件自动调优内核,以找到运行每个模型的最快方式。提供桌面应用与 CLI,支持 macOS、Linux、Windows,可运行于 Apple Silicon、NVIDIA、AMD、Intel GPU 或纯 CPU。每个模型附带最快的投机解码 drafter,采用量化 KV 以减少每个 agent 的内存占用,多个会话共享前缀缓存。可通过一键连接 Pi、OpenCode、Hermes、Codex 等 agent,其余工具通过 OpenAI 兼容 API 接入。模型下载后提示词、文件与模型均留在本机,无需联网。以 Apache 2.0 协议开源,另支持作为远程服务运行与 Docker 容器部署。

Star 趋势2026-11-08 — 2026-11-18当前 Stars 7.9k24h +157 日 +112

7.7k7.8k7.9k11-0811-1111-1211-1311-1411-1511-1611-1711-18