投稿 提交工具 投放合作

FreeToken:消费级硬件上的MoE推理引擎

大语言模型 17.2k(+40) 1.7k Python 2026-11-16 在 GitHub 打开

面向个人与消费级硬件的 MoE 服务引擎,支持在游戏 PC 上运行 290B+ 开源权重模型,提供 CLI 与桌面应用。

FreeToken 是面向边缘/消费级硬件的 Mixture-of-Experts 服务引擎,把 GPU、CPU、主机内存与互连当作统一的弹性推理平台,用于在个人硬件上运行前沿规模的开源权重 MoE 模型。核心能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式处理、全局 LRU 专家缓存、图兼容执行与 FTW 快速权重格式;语义感知缓存为循环状态与 KV cache 设置语义锚点检查点,使 Agent 场景下的上下文编辑(工具调用、思考块等)避免重复计算;显存可在专家缓存与 KV 内存之间运行时动态重分配,无需重启引擎或重载权重。支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等开源 MoE 模型及 MXFP4、NVFP4、FP8、BF16、GGUF 等量化格式,提供 Anthropic/OpenAI 兼容 API,原生支持 NVIDIA RTX 30/40/50 系列。可用 Windows/Linux 桌面应用(含 GUI)或通过 uv/pip 安装的 CLI 使用,也可从源码构建。项目采用 Apache 2.0 许可。

Star 趋势2026-11-06 — 2026-11-16当前 Stars 17k24h +407 日 +421

17k11-0611-0811-1111-1211-1311-1411-1511-16