投稿 提交工具 投放合作

MNN:端侧深度学习推理与训练框架

智能体与MCP 16.6k(+10) 2.5k C++ 2026-11-17 访问官网 ↗ 在 GitHub 打开

轻量高效的深度学习框架,支持模型在移动端与嵌入式设备上的推理和训练,并提供基于它的 LLM 与 Stable Diffusion 本地运行方案。

MNN 是面向端侧的深度学习框架,支持 TensorFlow、Caffe、ONNX、TorchScript 等模型格式的转换与推理,覆盖 CNN、RNN、GAN、Transformer 等常见网络,支持多输入输出、动态输入与控制流。它针对 ARM/x64 CPU 做了大量汇编优化,可用 Metal、OpenCL、Vulkan 在移动端做 GPU 推理,也支持 CUDA;提供 FP16/Int8 量化以压缩模型体积,iOS 静态库约 12MB,Android 核心 so 约 800KB。基于 MNN 引擎还衍生出 MNN-LLM(大模型本地推理)与 MNN-Diffusion(Stable Diffusion 本地推理)方案,配套 MNN Workbench 提供预训练模型、可视化训练与一键部署。README 提到其设计与基准测试发表于 OSDI'22 论文。

Star 趋势2026-11-08 — 2026-11-17当前 Stars 17k24h +107 日 +127

16k17k11-0811-1111-1211-1311-1411-1511-1611-17