llama.cpp:C/C++实现的本地LLM推理引擎
用纯C/C++实现的大语言模型与视觉语言模型推理引擎,目标是在多种硬件上以最少配置实现本地和云端推理。
llama.cpp的目标是让LLM和VLM推理在尽量少的配置下,在从本地到云端的广泛硬件上达到高性能。项目为无依赖的纯C/C++实现,对Apple Silicon做了ARM NEON、Accelerate和Metal优化,x86支持AVX/AVX2/AVX512/AMX,RISC-V支持RVV等指令集;提供1.5-bit到8-bit多种整数量化以加快推理并降低显存占用。后端覆盖CUDA(NVIDIA)、HIP(AMD)、MUSA、Metal、Vulkan、SYCL、OpenCL、WebGPU等,并支持CPU+GPU混合推理以运行超过显存容量的模型。工具包括CLI、llama-server REST API、GBNF文法等,可从源码构建、使用Docker或下载预构建二进制。项目构建在ggml库之上,以MIT许可证发布。