投稿 提交工具 投放合作

colibri:本地运行超大开源模型的推理引擎

大语言模型 51.7k(+166) 6.3k C 2026-11-16 访问官网 ↗ 在 GitHub 打开

纯C实现的推理引擎,用MoE专家按需从磁盘读取的方式在普通电脑上运行数百亿参数的开源模型,无需GPU。

colibri针对混合专家(MoE)模型设计:每个token只激活一小部分专家,引擎把这部分常驻内存,其余专家按需从磁盘读取,从而在本地运行数百亿参数的开源模型。纯C实现,每个模型家族一个文件,支持CPU、Vulkan GPU和NVIDIA CUDA,语言模型也可直接读取已发布的GGUF文件。内置十三个引擎,覆盖多款语言模型、一个图像生成模型和若干决策模型。安装脚本会检测内存、磁盘、CPU和GPU,推荐能放下的模型,编译或下载对应引擎,断点续传下载模型,并在浏览器中打开仪表盘;也提供MCP服务器供AI助手完成检测、推荐、安装与启停。最低要求8GB内存、22GB磁盘空间。

Star 趋势2026-11-07 — 2026-11-17当前 Stars 52k24h +1667 日 +2.5k

49k50k52k11-0711-0911-1111-1211-1311-1411-1511-1611-17