投稿 提交工具 投放合作

airllm:低显存大模型推理库

大语言模型 42.1k(+66) 4.4k Jupyter Notebook 2026-11-17 在 GitHub 打开

通过分层加载在小显存GPU上运行大语言模型,无需量化、蒸馏或剪枝,也支持小显存训练。

AirLLM是一个Python库,通过将模型按层分片、在推理时逐层从磁盘加载,大幅降低大语言模型的推理显存占用,无需量化、蒸馏或剪枝即可在单张4GB显卡上运行70B模型。项目README列举了其自述的运行数据:Kimi K3(2.8T)在4GB以内、DeepSeek-V3(671B)约12GB、Qwen3.8-Flash-Next(125B)约6GB显存运行。使用方式与常规transformers模型类似,传入HuggingFace仓库ID或本地路径初始化即可;首次推理会将原模型分层拆分保存,需保证缓存目录有足够磁盘空间。可选配置包括4bit/8bit块量化压缩(基于bitsandbytes,README称可带来最高约3倍推理提速)、profiling_mode、分片保存路径与hf_token。2026年新增训练支持:冻结权重逐层流式加载、适配器常驻显存,README称Qwen3.8-Flash-Next(125B)可在6GB显存内训练。支持MacOS与CPU推理,覆盖Qwen、Llama、DeepSeek、Phi、Gemma等系列模型。

Star 趋势2026-11-10 — 2026-11-18当前 Stars 43k24h +667 日 +422

42k43k11-1011-1111-1211-1311-1411-1511-1611-1711-18