airllm:低显存大模型推理库
通过分层加载在小显存GPU上运行大语言模型,无需量化、蒸馏或剪枝,也支持小显存训练。
AirLLM是一个Python库,通过将模型按层分片、在推理时逐层从磁盘加载,大幅降低大语言模型的推理显存占用,无需量化、蒸馏或剪枝即可在单张4GB显卡上运行70B模型。项目README列举了其自述的运行数据:Kimi K3(2.8T)在4GB以内、DeepSeek-V3(671B)约12GB、Qwen3.8-Flash-Next(125B)约6GB显存运行。使用方式与常规transformers模型类似,传入HuggingFace仓库ID或本地路径初始化即可;首次推理会将原模型分层拆分保存,需保证缓存目录有足够磁盘空间。可选配置包括4bit/8bit块量化压缩(基于bitsandbytes,README称可带来最高约3倍推理提速)、profiling_mode、分片保存路径与hf_token。2026年新增训练支持:冻结权重逐层流式加载、适配器常驻显存,README称Qwen3.8-Flash-Next(125B)可在6GB显存内训练。支持MacOS与CPU推理,覆盖Qwen、Llama、DeepSeek、Phi、Gemma等系列模型。