ggml:机器学习张量计算库
用纯C/C++实现的机器学习张量库,无外部依赖,支持多架构CPU与GPU等后端,提供量化格式与SIMD优化内核。
ggml是一个以简洁、可移植、高效为目标的机器学习张量库,采用纯C/C++实现且不依赖任何外部库。它支持x86、ARM、RISC-V、LoongArch、PowerPC、s390x和WebAssembly等平台,并为x86、ARM、RISC-V提供SIMD优化内核;后端覆盖CPU、GPU、NPU和浏览器。量化方面支持2至8位整数以及MXFP4、NVFP4微缩放格式,运行时不做内存分配。仓库附有GGUF文件格式、ggml入门等文档,examples/simple提供一个带注释的矩阵乘法最小示例。核心库的改动需在llama.cpp中提交PR。