投稿 提交工具 投放合作

llama.cpp:C/C++实现的本地LLM推理引擎

大语言模型 135.4k(+143) 25.7k C++ 2026-11-17 在 GitHub 打开

用纯C/C++实现的大语言模型与视觉语言模型推理引擎,目标是在多种硬件上以最少配置实现本地和云端推理。

llama.cpp的目标是让LLM和VLM推理在尽量少的配置下,在从本地到云端的广泛硬件上达到高性能。项目为无依赖的纯C/C++实现,对Apple Silicon做了ARM NEON、Accelerate和Metal优化,x86支持AVX/AVX2/AVX512/AMX,RISC-V支持RVV等指令集;提供1.5-bit到8-bit多种整数量化以加快推理并降低显存占用。后端覆盖CUDA(NVIDIA)、HIP(AMD)、MUSA、Metal、Vulkan、SYCL、OpenCL、WebGPU等,并支持CPU+GPU混合推理以运行超过显存容量的模型。工具包括CLI、llama-server REST API、GBNF文法等,可从源码构建、使用Docker或下载预构建二进制。项目构建在ggml库之上,以MIT许可证发布。

Star 趋势2026-11-08 — 2026-11-17当前 Stars 135k24h +1437 日 +1.7k

134k135k11-0811-1111-1211-1311-1411-1511-1611-17