bitnet.cpp:1-bit 大模型的推理框架
BitNet b1.58 等 1-bit/三值大模型的官方推理框架,提供 CPU 与 GPU 优化内核及配套模型。
bitnet.cpp 是微软官方的 1-bit 大语言模型推理框架(如 BitNet b1.58),提供一套优化内核,支持在 CPU 与 GPU 上对 1.58-bit 模型进行快速无损推理。README 给出的数据显示其在 ARM CPU 上提速 1.37x–5.07x、能耗降低 55.4%–70.0%,在 x86 CPU 上提速 2.37x–6.17x、能耗降低 71.9%–82.2%,并称可在单台 CPU 上运行 100B 的 BitNet b1.58 模型。仓库同时发布官方模型:BitNet-b1.58-2B-4T(2.4B 参数、4 万亿 token 训练的三值语言模型)、BitNet-embedding-0.6B 与 270M(1-bit 嵌入模型,支持 I2_S 转换与优化内核),并列出各模型在 x86/ARM 上可用的内核(I2_S、TL1、TL2)支持矩阵。另有 GPU 推理内核与 CPU 并行内核优化的发布记录,配套技术报告与在线演示。