3.6.22026-10-29
MNN 3.6.2 版本发布说明
发布日期: 2026年10月
📦 安装: pip install mnn==3.6.2 | PyPI
📌 版本概述
MNN 3.6.2 聚焦 端侧异构推理性能与投机解码加速。本版本以 Metal、Hexagon 和 DFlash 为重点,持续提升 Qwen3 / Qwen3.5 在 CPU、GPU 与 NPU 上的推理效率。
典型性能:Qwen3.5-2B 在 iPad Pro M5 的 GPU 上通过 Metal 后端运行,Prefill 达到 3542.91 tok/s;启用 DFlash 后,Decode 从 111.89 提升至 233.98 tok/s,达到常规解码的 2.09 倍。
🚀 版本亮点
Metal / Apple GPU Neural Accelerators 优化**:通过 Metal Tensor API 利用 Apple GPU 内的神经网络加速单元,提升 Qwen3 / Qwen3.5 Dense 推理性能
Hexagon 推理优化**:提升 NPU 上的 Prefill 效率,减少 Decode 阶段的计算与调度开销
DFlash 投机解码加速**:加速草稿生成与验证,复用目标模型输出层权重,提高生成吞吐并减少内存占用
CPU / OpenCL 性能优化**:改进 OpenCL Attention 与融合解码,完善 CPU 的 SME2 检测与 SME2 / NEON 混合执行
LinearAttention 与 MoE 多后端优化**:提升 Qwen3.5 LinearAttention 在 Metal、Hexagon DSP、x86 与 RISC-V 上的执行效率,优化 MoE 专家计算
RISC-V / 进迭时空 K3 LLM 适配**:完善 RVV 与 IME2 支持,优化低比特 LLM 推理和动态输入处理
📊 性能基准
<img width="4080" height="2448" alt="performance_overview" src="https://github.com/user-attachments/assets/897e778f-26dd-488e-8619-9854c81ca04d" />
图:左侧为 iPad Pro M5 的 CPU / Metal GPU 性能,Qwen3.5-2B 额外展示 DFlash 投机解码;右侧为 OnePlus 13 的 CPU / OpenCL GPU / Hexagon NPU 性能。上排 Prefill,下排 Decode。
✨ 新功能与性能优化
Metal 后端
Apple GPU Neural Accelerators**:围绕 Metal Tensor API 优化矩阵计算、Attention 和 LinearAttention 的分块与数据访问,发挥 M5 等受支持 GPU 内神经网络加速单元的计算能力
Metal 低比特计算**:新增 W2 / W3 解码 GEMV 与 conv1x1 支持,优化 Q4 权重读取、分块计算和投机解码块处理
Metal Attention 与融合计算**:优化 prefill / decode Attention、RMSNorm、RoPE、融合 QKV / SwiGLU 投影及命令提交,减少中间计算与同步开销
Metal LinearAttention**:优化 gated delta rule 的融合计算,为 Tensor API 和 SIMD-group 矩阵计算提供分块 prefill 路径,并优化短输入和 decode 命令回放
Metal 上下文释放**:新增 context release API
Hexagon / NPU 后端
Hexagon 融合解码**:新增融合 INT4 GEMV、GatedRMSNorm 与 norm + RoPE 路径,减少解码阶段的算子调度
Hexagon DSP LinearAttention**:支持 Qwen3.5 gated delta rule 与 LFM2 short convolution,并引入分块 prefill 与 HMX 计算
Hexagon prefill 优化**:优化 INT4 反量化、HMX GEMM、分组因果 Attention、DMA 双缓冲和 VTCM 工作区,复用 prefill / decode 间的 KV 页面与动态内存池
Hexagon 模型与量化覆盖**:新增 Qwen3-VL 支持,完善对称 / 非对称分块量化、INT8 及 FP16 激活计算
Rockchip RKNN 后端**:新增 RKNN NPU 后端的初步支持
QNN 工具与算子**:新增 Deconvolution、中间 Tensor dump 和 VTCM 大小配置,支持 LLM / visual 模型导出至同一 QNN 目录
LLM / 推理与导出
MoE 专家计算优化**:将 Token 按专家归组,批量执行专家投影,融合 gate / up 与 SwiGLU;为 prefill 和 decode 提供对应的计算路径,覆盖 CPU / Metal / OpenCL / CUDA / Vulkan
Transformer 融合优化**:导出时融合投影层与 gated norm,并保留 split-LoRA 导出中的 FusedLinear 融合
DFlash 投机解码优化**:将特征投影、拼接与 argmax 放到设备端,增量维护草稿 KVCache,减少主机往返与重复计算;Metal 使用适合短验证块的 Q4 分块矩阵计算与 K 维切分
DFlash 权重复用:草稿模型共享目标模型的 lmhead,减少磁盘与运行时的重复权重
> 升级提示:旧版 DFlash 草稿模型需重新导出。
QAT checkpoint 导出:新增 --qat,读取 qatconfig.json 与 safetensors,保留 scale / zero_point,支持 2 / 3 / 4 / 8-bit 权重
可选文本 Token 压缩:新增 MNNLLMTOKENCOMPRESS 编译选项和 token_compress 配置,按 Token 预算选取文本句子;默认关闭,支持纯文本请求及多模态模型的纯文本输入
OpenCL 前缀 KVCache 文件**:新增 setPrefixCacheFile 支持
Attention mask 统一**:统一 mask 构造及各后端的处理语义
CPU 后端
SME2 计算单元检测**:识别可用计算单元及共享分组,为任务划分提供准确的硬件信息
SME2 / NEON 混合优化**:依据计算单元数量分配矩阵任务,优化 Attention、INT8 和 KleidiAI 混合执行,减少线程调度开销
Arm Attention / RoPE / LayerNorm**:优化 FlashAttention prefill / decode,新增 Arm82 FP16 RoPE,优化 packed FP16 C4 LayerNorm
RISC-V RVV 算子扩展**:新增或优化 LinearAttention、Attention mask、KVCache 量化、GEMV、矩阵计算、卷积 / 反卷积、采样、Scale / PReLU 和 INT8 算子
进迭时空 K3 / IME2:优化低比特矩阵计算与激活打包,在动态 prefill 中保留执行对象并复用权重预打包结果,减少输入长度变化时的重复准备开销。采用 8 线程、W4B64 配置,Qwen3.5-2B 实测 Prefill(PP512)达到 85.60 tok/s,Decode(TG128)达到 17.68 tok/s**
卷积与图像算子**:优化反卷积输出复用、2×2 反卷积后处理及双线性采样
其他 GPU 后端
OpenCL FlashAttention 与调优**:重构 prefill / decode kernel,完善 mask、尾块、KV 布局和长输入处理;优化异步准备、运行时调优与 kernel 程序拆分
OpenCL 融合解码**:融合 C4 gated / binary RMSNorm 和 FusedLinear GEMV,优化 decode RoPE,减少 QCOM record replay 同步开销
Vulkan cooperative matrix**:优化 INT4 矩阵计算与 Attention 矩阵计算路径
LLM / 多模态模型
MiniCPM-V 4.7**:新增模型导出与推理支持
MobileMoE**:新增模型映射、导出与推理支持
HunyuanOCR 1.5**:新增模型支持
Qwen3-ASR / Qwen3-VL-Embedding**:新增导出与运行时支持
Qwen3-TTS-12Hz-0.6B-Base**:新增语音合成支持,优化 talker / code-predictor 的 KVCache 解码
Qwen 系列视频输入**:新增 Qwen3.5 视频输入,以及 Qwen2.5-VL / Omni 的逐帧 mask、window index 和时间维 mRoPE 处理
工具
NeedleBench**:新增长文本检索评测工具、压缩检查模式和 iOS mnn-llm demo 运行入口
iOS LLM 一键性能测试**:新增设备端 benchmark 流程
llmbench -pg:支持共享 KVCache 的 Prefill / Decode 联合测试
🐛 缺陷修复
LLM / VLM / 音频
DFlash / Eagle 投机解码**:修复 DFlash 跨轮状态、Metal fused-attention 崩溃、FP16 路径及验证模块池大小问题;修复 Eagle draft RoPE 配置和 OpenCL KVCache 预留逻辑
KVCache 与 mask**:修复 Metal 混合 LinearAttention 模型的前缀缓存,按后端与精度隔离缓存文件,并修复 Omni mask 路由
FP16 RoPE**:修复位置索引在 FP16 后端上的碰撞问题
多模态导出与预处理**:修复 Qwen-VL、InternVL、MiniCPM-V 与 Gemma4 的导出、预处理及推理问题
Transformers 兼容性**:修复 Transformers 5.x 下 BGE / BERT embedding 和 Qwen2-VL / Qwen2.5-VL 导出,完善 Qwen3.5 text-only 与 MoE 导出兼容性
语音处理**:修复 Qwen3-ASR 音频长度、Whisper 周期 Hann 窗、Paraformer CIF 权重读取,以及 Qwen3-TTS 音频输出问题
LoRA / AWQ:修复 LoRA 权重解析与融合导出、视觉模型 createlora 崩溃,以及 AWQ KVCache 清理和位置索引问题
Tokenizer / 采样**:修复流式 Unicode、重复 BOS、词表越界、初始化失败及 Windows 文件读取问题,修正混合采样中的重复惩罚
多轮与并发推理**:修复 Omni 连续请求的 PLE 状态和 LlmContext 跨线程释放后访问问题
评测统计**:修复 EOS 提前停止导致的 benchmark 统计偏差,以及 NeedleBench 输入构造与纯文本压缩处理
GPU / NPU 后端
Metal**:修复 Attention 并发访问、mask 与 KVCache 扩容问题,以及部分算子计算和资源管理错误;GPU 命令失败时终止生成
OpenCL**:修复整数算子计算与布局、Omni 音频推理和 Mali 兼容性问题,完善低内存模式、调优与动态内存统计
Vulkan**:修复大图 descriptor pool 耗尽崩溃和 multi-image softmax 路径
CUDA**:修复大输入 im2col 打包中的 INT32 溢出,以及 BinaryBlit 的 INT32 REALDIV 分派
Hexagon**:修复 Attention tile 数据路径和主机写入与排队命令的冲突,增加 VTCM 工作区边界检查
QNN / 多后端 Pooling**:修复 QNN Interp / Flatten / LeakyReLU、导出路径与错误处理,以及多后端显式 pooling pads 处理
CPU / 框架
输入与 Resize 缓存**:修复重复 forward 未刷新输入副本、布局变化后复用旧副本,以及 CPUResizeCache 引用过期内存的问题
内存与生命周期**:修复 KleidiAI depthwise 的释放后访问、模型加载泄漏、Express loadMap / readMap 缓冲区问题及大权重偏移溢出
数值正确性**:修复动态量化、FP16 residual、矩阵运算和 RVV 尾部处理中的错误
RISC-V 运行时分派:使用 riscvhwprobe 检测能力,保留标量回退,避免在不支持 RVV 的设备上错误分派
跨平台构建**:修复 Linux、Harmony、iOS 和 Windows 构建,以及关闭部分可选功能时的编译问题
转换器 / 安全 / 其他
ONNX 转换**:修复算子属性解析、默认值处理、形状与类型识别问题
TFLite 与非法模型**:完善 Tensor / buffer / operand 索引校验,修复畸形卷积、池化模型的崩溃与除零
文件与命令安全:限制 ONNX externaldata 的读取目录,修复 QNN 导出命令注入风险,校验外置卷积权重长度和 LLM HTTP 请求 JSON
内存安全:修复多算子边界问题,更新 stbimage 并修复空 IDAT 处理
转换失败回报**:正确传播优化与转换失败,报告模型文件和外置权重写入失败
PyMNN / Diffusion / App**:恢复 expr.const 整数地址输入,修复 Diffusion tokenizer / ONNX 导出、Android 下载服务竞争崩溃和流式 Markdown 表格闪烁
📚 其他改进
多模态处理结构**:按模型家族共享处理逻辑,减少重复实现
可选 NPU 插件**:整理可配置的插件接口、头文件和构建依赖,保留运行时回退
测试覆盖与校验**:补充 Metal Attention / LinearAttention、多实例并发、视觉模型批量推理测试及多 LoRA 示例,完善异常数值检查和测试失败上报
iOS 集成**:补齐 framework 中的 LLM 引擎头文件,修复 Metal Tensor API 兼容性
文档与示例**:完善 C++ demo、PyMNN、LLM Python 示例及后端开发指南
构建与打包**:完善 PyMNN CI 依赖、Harmony 动态库名称与 CocoaPods 版本配置
🙏 致谢
衷心感谢所有贡献者对本版本的宝贵贡献,以下按 GitHub login 列出部分代表性工作:
@wangzhaode** — MiniCPM-V 4.7、MobileMoE、IndexedLinear MoE、文本 Token 压缩、SpacemiT IME2 与 Vulkan INT4 优化
@v0jiuqi** — Metal / Arm 推理优化、Transformer 融合、Qwen2.5-VL / Omni 视频、NeedleBench iOS 工具及多项稳定性修复
@Qxinyu** — Hexagon 融合解码与 DSP LinearAttention、OpenCL FlashAttention / 融合计算、Vulkan 与 QNN 修复
@ValiantDiligent** — DFlash 优化与修复、Gemma4、Eagle RoPE、Android 下载服务和界面修复 (#4942, #4969, #4881)
@Tangesion** — QAT checkpoint 导出、Metal 优化与资源管理、转换工具安全修复
@huangzhengxiang** — Qwen3-ASR / Qwen3-VL-Embedding (#4478)、Qwen3-TTS (#4589)、RKNN (#4524)、SME2 Attention (#4720)
@typer-J** — RVV LinearAttention、Attention mask、KVCache 量化、GEMV 及多项 CPU 算子优化
@hulkbig** — ONNX 转换语义、文件写入错误处理、DynamicQuant 与 CV 矩阵修复
@vklonghml** — 输入副本刷新 (#5014)、FP16 residual (#4989)、Qwen3-ASR / Wh
3.6.12026-07-23
MNN 3.6.1 版本发布说明
发布日期: 2026年7月
📦 安装: pip install mnn==3.6.1 | PyPI
📌 版本概述
MNN 3.6.1 版本聚焦于 Hexagon NPU 后端、Transformer C4 Fuse 全后端性能优化 与 稳定性修复 三大核心主题:
Hexagon NPU 后端**:新增高通 Hexagon NPU 直接编程后端,Qwen3-0.6B(W4 对称量化,block64)在骁龙 8 Elite(Hexagon v79)上 prefill 达 2667 tok/s,为 CPU 的 7.9×。
Transformer C4 Fuse 全后端性能优化:新增 fused LLM 算子(RoPE / Attention / LayerNorm 等 C4 路径)并在 CPU / Metal / OpenCL / CUDA 全后端启用 Transformer C4 图;优化 C4 导出与 packed RoPE 路径;Metal 新增 LLM prefill/decode 优化 kernel 与 Fused Q4/Q8 dequant+GEMM(MTILE=64);OpenCL 修复 NC4HW4 raster L2 cache-set 抖动并优化 int4 GEMM。
稳定性修复与工具增强**:新增 MNN-aware QLoRA 微调;修复 mmap 分配失败崩溃、推测解码 KVCache 索引、Arm82 LinearAttention fp16 精度等多项问题。
---
🚀 版本亮点
Hexagon 后端(高通 NPU 直接编程)**:Qwen3-0.6B 在骁龙 8 Elite 上 pp512 达 2667 tok/s(CPU 的 7.9×,OpenCL GPU 的 1.8×)
Transformer C4 图全后端启用**:fused LLM 算子 + C4 后端路径覆盖 CPU / Metal / OpenCL / CUDA,包含 packed RoPE fuse 优化
Metal LLM Prefill 大幅优化:Fused Q4/Q8 dequant+GEMM kernel、MTILE=64 变体(面向 M5)、prefill/decode kernel 与 shape/RoPE 基础设施重构,并新增 Metal Op Profile
MNN-aware QLoRA 微调**:新增面向 MNN 部署的 QLoRA 微调能力
---
✨ 新功能
后端:Hexagon(新增)
Hexagon NPU 后端**:新增高通 Hexagon NPU 直接编程后端(HexagonBackend / HexagonRuntime / DSP kernel),支持 Attention 等 LLM 关键算子;附带 skills/hexagon 开发文档
LLM / 推理加速
Fused LLM 算子与 C4 后端路径**:新增 CPURoPE、SharedGather 等 fused 算子及 CPU/Metal C4 计算路径
C4 导出与 packed RoPE 优化**:优化 C4 图导出;CPU / Metal / OpenCL 的 RoPE fuse(packed RoPE)路径优化
Transformer C4 图全后端启用**:CPU / Metal / OpenCL / CUDA(新增 RoPEExecution.cu、LayerNorm/LinearAttention C4 适配)统一启用 C4 图
MNN-aware QLoRA 微调**:新增 QLoRA 微调支持
GPU 后端
Metal LLM prefill/decode kernel 优化**:prefill/decode kernel、shape/RoPE 基础设施与 MetalConvolution1x1 SIMD-group 路径重构,新增 Metal Op Profile 工具
Metal Fused Q4/Q8 dequant+GEMM:新增融合反量化+GEMM kernel 及 MTILE=64 变体,优化 M5 上的 LLM prefill
OpenCL raster 与 int4 GEMM 优化:转置遍历顺序修复 NC4HW4 L2 cache-set 抖动;优化 int4 GEMM 性能;拆分 binarylayernorm_c4 kernel
Vulkan Range 算子**:新增 Range 算子 image 实现
QNN Interp/Resize 算子**:QNN 后端新增 Interp/Resize 支持
CPU 后端
RVV CommonOptFunction 适配**:为 RISC-V RVV 架构适配 CommonOptFunction
工具
llmbench -fa 选项:新增 flash attention 开关(默认 1,启用 flash attention)
---
🐛 缺陷修复
LLM / VLM
Qwen3.5 fused 推理正确性**:修复 Qwen3.5 fused 推理结果错误
C4 fuse 保护与 Metal raster**:为 C4 fuse 增加 guard 条件并修复 Metal raster 问题
RoPE schema 编译错误**:修复 rope schema 引入的编译错误
MPS 大 tensor Q4 量化静默全零**:修复在 MPS 上量化大 tensor 时 Q4 权重静默全零的问题
通用 embedding scale 导出**:修复导出时 embedding scale 缺失
WikiText 校准数据集加载**:修复量化校准数据集加载失败
QNN 导出 chunksize:修复 QNN prefill IO 生成未遵循 --chunk_size 的问题
decoder embedding 导出 causal mask**:decoder 类 embedding 模型导出改用 causal mask
GPU 后端
Metal ATTENTIONC4 输出分支缺失:修复 prefillqkvtensor 缺少 ATTENTION_C4 输出分支
Metal attention kvcache flag:修复 Metal attention 未遵循 kv_cache flag
OpenCL attention c4 kernel 编译**:修复 attention c4 的 OpenCL kernel 编译错误
OpenCL c4 长 prefill attention**:修复 GEMM tune 时 V-buffer 越界与 NC4HW4 输出布局缺失
OpenCL maskless attention setArg 溢出:修复导致 Adreno 上 SD UNet 输出错误的 setArg 溢出(issue #4653),同时修复 LinearAttention 越界写、共享 runtime gpuMode 被覆盖及 sharedgather 构建错误
CUDA pooling pads 与 TopKV2 largest flag**:修复显式 pooling pads 与 TopKV2 largest flag 处理,并重组相关测试
QNN mmpose 模型**:修复运行 mmpose 模型时的若干问题
QNN context 生成栈溢出**:提高 context 生成的栈上限
CPU 后端
Arm82 LinearAttention fp16 精度**:改用 fp32 累加器,修复 fp16 精度损失
推测解码 KVCache 索引**:修复 CPU KVCache value 索引错误导致 Eagle3 输出质量下降(issue #4591)
ConvInt8 SIGSEGV**:修复 Conv 缺少量化权重时 ConvInt8 崩溃
RVV 源文件缺失 Macro.h**:补全 RISC-V RVV 源文件的头文件包含
RVV Int8 函数修复**:修复 MNNLineDepthWiseInt8AddBiasScaleUnit 等 RVV int8 函数问题(issue #4454)
框架 / 其它
mmap 分配失败崩溃**:修复各后端 mmap 分配失败时的崩溃
RuntimeManager::setCache 空指针**:增加 null runtime 保护
Android 构建缺失源文件:CMakeLists 补充 diffusionsession 与 sana_session 源文件
---
📚 其他改进
开发流程文档**:新增 development workflow guidelines
CI 脚本整合**:整合 CI 测试脚本与文档
Shader 构建脚本现代化**:支持复杂路径
NeuroPilot 代码移出公开仓库**:相关实现改由内部维护
iOS 发布包更名**:移除包名中的 CoreML 后缀
Copybara 同步脚本可配置化**
PyMNN 打包更新**:更新 3.6.1 发布的 PyMNN 打包配置
---
📊 性能基准
<img width="3900" height="1650" alt="combined_bench" src="https://github.com/user-attachments/assets/26920ba4-d0df-4df8-af46-8085964a4001" />
相比 3.6.0(同设备、同量化配置,模型用 3.6.1 重新导出):
Android 性能大幅回升:Qwen3-4B OpenCL prefill (pp512) +101.7%,Qwen3-4B CPU decode (tg128) +72.2%,Qwen3-0.6B OpenCL decode +76.1%**
macOS Metal 全线提升:Qwen3-0.6B prefill (pp1024) +50.1%、decode +36.1%;Qwen3-4B prefill (pp512) +18.8%**
> 测试环境: Mac mini M4 (16GB) / OnePlus PJZ110 (Snapdragon 8 Elite) | 模型: Qwen3-0.6B / Qwen3-4B | 量化: W4 (block=64) | 工具: llm_bench (rep=5, median)
Hexagon NPU 后端性能
Qwen3-0.6B(4-bit 对称量化,block64,C4)在 SM8750(骁龙 8 Elite,Hexagon v79)上三后端对比:
| 后端 | pp512 (tok/s) | tg128 (tok/s) | vs CPU prefill |
|------|--------------|--------------|----------------|
| Hexagon NPU | 2667 | 68.5 | 7.9× |
| OpenCL GPU | 1491 | 71.4 | 4.4× |
| CPU | 336 | 94.3 | 1.0× |
Hexagon NPU 在 prefill 上优势显著(7.9×),decode 目前仍以 CPU 最优。Hexagon SDK 5.x 与 6.x 编译的 DSP skeleton 性能一致(差异 <2%,误差范围内)。
---
🙏 致谢
衷心感谢所有贡献者对本版本的宝贵贡献(按 GitHub login 列出):
@jxt1234** — Hexagon 后端 (#4633)、fused LLM 算子与 C4 后端路径 (#4554)
@wangzhaode — Transformer C4 图全后端启用 (#4629)、C4 导出与 packed RoPE 优化 (#4598)、QLoRA 微调 (#4560)、Qwen3.5 fused 推理修复 (#4631)、C4 fuse guard 与 Metal raster 修复 (#4607)、Vulkan Range 算子 (#4563)、Metal kvcache flag 修复 (#4556)、embedding scale 导出修复 (#4615)
@v0jiuqi — Metal LLM prefill/decode kernel 与 RoPE 基础设施 (#4650)、Fused Q4/Q8 dequant+GEMM (#4651)、llmbench -fa 选项 (#4658)、Metal ATTENTION_C4 分支修复 (#4654)、MPS Q4 全零权重修复 (#4649)、Arm82 LinearAttention fp16 修复 (#4634)、mmap 失败崩溃修复 (#4630)
@Qxinyu** — OpenCL NC4HW4 raster / int4 GEMM 优化 (#4606)、c4 长 prefill attention 修复 (#4609)、maskless attention setArg 溢出等修复 (#4659)、attention c4 kernel 编译修复 (#4644)、QNN mmpose 修复 (#4626)、setCache 空指针保护 (#4617)
@Fatemanx (xly)** — CUDA pooling pads 与 TopKV2 largest flag 修复 (#4627)
@LudovicoYIN — QNN 导出 chunksize 修复 (#4611)、WikiText 校准数据集修复 (#4566)、QNN context 生成栈上限
@huluhuluu** — 推测解码 KVCache 索引修复 (#4600)
@lanling-47** — QNN Interp/Resize 算子 (#4582)
@jxgxxx** — RVV CommonOptFunction 适配 (#4426)
@Sherlockzhangjinge** — RVV Int8 函数修复 (#4552)
@xuhaonan999** — RVV Macro.h 包含修复 (#4588)
@pingji2016** — Android 构建源文件修复 (#4569)
@RinZ27** — Shader 构建脚本现代化 (#4550)
@devin-lai** — decoder embedding causal mask 修复 (#4548)
---
MNN 3.6.1 Release Notes
Release Date: July 2026
📦 Install: pip install mnn==3.6.1 | PyPI
📌 Overview
MNN 3.6.1 focuses on three core themes: Hexagon NPU Backend, Transformer C4 Fuse Optimization Across Backends, and Stability Fixes:
Hexagon NPU Backend**: New Qualcomm Hexagon NPU direct-programming backend. Qwen3-0.6B (W4 symmetric, block64) reaches 2667 tok/s prefill on Snapdragon 8 Elite (Hexagon v79), 7.9× faster than CPU.
Transformer C4 Fuse Optimization Across Backends: New fused LLM ops (RoPE / Attention / LayerNorm C4 paths) with Transformer C4 graphs enabled across CPU / Metal / OpenCL / CUDA; optimized C4 export and packed RoPE (RoPE fuse) paths; Metal adds fused Q4/Q8 dequant+GEMM (MTILE=64) and reworked LLM prefill/decode kernels; OpenCL fixes NC4HW4 raster L2 cache-set thrashing and optimizes int4 GEMM.
Stability Fixes & Tooling**: New MNN-aware QLoRA finetuning; fixes for mmap allocation failure crashes, speculative-decoding KVCache indexing, Arm82 Linear
3.6.02026-06-16
MNN 3.6.0 版本发布说明
发布日期: 2026年6月
📦 安装: pip install mnn==3.6.0 | PyPI
📌 版本概述
MNN 3.6.0 版本聚焦于 多模态 LLM 模型扩展与推理加速、GPU 多后端深度优化 以及 低比特量化与硬件适配增强 三大核心主题:
多模态 LLM 模型扩展与推理加速**:新增 Gemma4(文本/视觉/语音)、Qwen3.5、Hymt2 等模型支持;推出 dflash 推测解码;Omni 模型 Thinker/Talker 交错生成将 TTFA 降低 2.7×;引入 fp16 存储的 weight-quant scale/zero-point;通过 onClone 重构 KV Cache 复用机制。
GPU 多后端深度优化:Vulkan 新增 VulkanConv1x1CoopA8(W8A8 coopMat)与 no-subgroup 回退路径;OpenCL 引入 GEMM/GEMV 启发式调度、int4 image1dbuffert 优化、原生 TopKV2 与 2/3-bit 权重量化;Metal 优化 Conv1x1 分支选择;CUDA 支持 Blackwell(sm120)并优化 Eagle 推测解码;QNN 支持 Qwen3.5 与离线图多进程并行导出。
低比特量化与硬件适配增强**:CPU 与 GPU 全栈支持 2/3-bit 权重量化(ARM low-bit 量化内核 + OpenCL/Metal/Vulkan);ARMv8.2/v8.6 decode 路径深度优化;KleidiAI 升级到 v1.16.0;新增 RVV 向量化的 Int8/Norm/Gelu/SiLu/ExpC8 等核心算子;新增 fused MNNFusedGatedDelta(LinearAttention prefill);新增 LinearAttention L=1 decode 快速路径。
---
🚀 版本亮点
Gemma4 全模态支持**:新增 Gemma4 文本、视觉与音频模型的完整推理支持
Wan2.1-T2V-1.3B 视频生成**:新增 Wan2.1-T2V-1.3B 文生视频模型的导出与推理能力
LLM 推理加速**:新增 dflash 推测解码;Omni 模型 Thinker/Talker 交错生成,TTFA 降低 2.7×
CPU/GPU 2/3-bit 权重量化全栈支持**:CPU 新增 low-bit ARM 量化内核,OpenCL/Metal/Vulkan 同步支持 2/3-bit 权重量化
Vulkan W8A8 coopMat**:新增 VulkanConv1x1CoopA8,支持动态量化 W8A8 + Cooperative Matrix
---
✨ 新功能
LLM / VLM
Gemma4 模型支持**:新增 Gemma4 文本、视觉、音频全模态推理
dflash 推测解码**:新增 dflash 推测解码方案
Omni Thinker/Talker 交错生成**:Omni 模型 Thinker 与 Talker 交错执行,TTFA 降低 2.7×
fp16 Scale/Zero-Point 存储**:权重量化的 scale/zero-point 支持 fp16 存储
KV Cache onClone 重构**:通过 onClone 统一各后端 KV Cache 复用逻辑
LLM log 保存到 context**:支持将 LLM 推理日志保存到 context
linearattention 视为 full attention:性能优化路径
模型导出 / 模型支持
Gemma4 模型导出**:支持 Gemma4 多模态导出
Stable Diffusion 3.5 Medium**:新增 SD 3.5 Medium 模型支持
Wan2.1-T2V-1.3B 视频模型**:新增视频生成模型的导出与推理
GPU 后端
Vulkan VulkanConv1x1CoopA8**:新增 W8A8 动态量化 + Cooperative Matrix 卷积
Vulkan LinearAttention 无 subgroup 回退**:兼容不支持 subgroup 的设备
Vulkan gemv decode 无 subgroup 回退**:decode 路径的兼容性增强
Vulkan 持久状态跨响应复用**:支持持久状态在多次响应间复用
Vulkan LayerNorm onClone**:支持 LayerNorm onClone,opt pipeline 构造时初始化
OpenCL GEMM/GEMV 启发式调度**:量化 GEMM/GEMV 启发式 + XGEMM FP local size 设置
OpenCL int4 GEMM/GEMV 优化:使用 image1dbuffer_t 优化 int4 GEMM/GEMV,免除 dequant 时额外的 -8
OpenCL 原生 TopKV2**:OpenCL IMAGE 与 Vulkan(image/buffer)新增原生 TopKV2 实现
OpenCL LinearAttention chunk 分支优化**:优化 chunk 分支性能
OpenCL/Metal/Vulkan 2/3-bit 权重量化**:GPU 三后端统一支持 2/3-bit 权重量化(CPU 端通过 low-bit ARM 量化内核支持)
Metal Conv1x1 分支选择优化**:MetalConvolution1x1 分支路径优化
CUDA Blackwell (sm120) 支持:新增 sm_120 计算架构支持
CUDA Eagle 推测解码优化**:CUDA Eagle 推测解码性能优化
QNN Qwen3.5 支持**:QNN 后端支持 Qwen3.5 及视觉模型修复
QNN 离线图多进程并行导出**:使用多进程并行加速离线图导出
QNN Binary 算子优化**:加速视觉模型的 binary op 路径
CPU 后端
RVV Int8 加速**:新增 RVV 加速的 Int8 函数
RVV 通用 opt 函数**:新增 RVV 向量化的 MNNNorm、MNNGelu、MNNSiLu、MNNExpC8 等
ARM v8.2/v8.6 Decode 优化**:手机端 LLM decode 性能显著提升
LinearAttention prefill fused kernel**:新增 MNNFusedGatedDelta fused kernel
LinearAttention L=1 decode 快速路径**:新增 decode 快速路径
Low-bit ARM 量化内核**:CPU 新增 2/3-bit 等低比特 ARM 量化内核支持
fp16 alpha lowMemory 优化**:跳过 fp32 round-trip
int4 reorder 性能优化**:减少非 fast path 的 int4 reorder 开销
构建 / 测试 / 工具
MNN 发布工作流升级**:新增 LLM/OMNI、Harmony、Android 16K 页大小支持
testci.sh:新增统一 CI 入口脚本
CMake 生成 podspec**:从 CMake 自动生成 podspec
GEMM 性能基准**:新增 FP32/INT8/Block32-INT4 GEMM 基准
GEMV 带宽基准**:新增 CPU/Metal w8/w4/w3/w2 GEMV 带宽基准
应用
MNNChat Android 0.8.3 模型市场**:为 Android 用户准备 0.8.3 版本模型目录
---
🐛 缺陷修复
LLM / VLM
Qwen3.5 headdim 自动检测:修复 gated attention 模型的 head_dim 自动检测
LinearAttention prefix disk cache**:修复 LinearAttention prefix disk cache 精度及混合模型支持问题
prefix kvcache 损坏崩溃:修复 prefix kvcache 损坏导致的崩溃以及 expandKVCacheInDisk 中的 sizet 截断
推测解码 cache mismatch**:修复推测解码中的 cache mismatch 与 mrope 支持
vision encoder 内存泄露**:修复 vision encoder 内存泄露与延迟增长问题
llmdemo linear-attention 状态重置:在 llm_demo 中重置 linear-attention 状态
kvmeta 内存泄露**:修复 kvmeta 内存泄露
stopids fallback:修复 list 形式 eostokenid 的 stop_ids fallback
GPTQ weightdict 重初始化:修复 GPTQ loader 中的 weight_dict 重初始化问题
GTE embedding/reranker RoPE:恢复 GTE embedding/reranker 导出中清零的 RoPE invfreq buffer
Gemma3 dual-RoPE 导出**:修复 Gemma3 dual-RoPE 导出与 Qwen3-VL bilinear 采样
Gemma4 导出:修复 HF transformers>=5.5.4 纯 KV sharing 导致的 gemma4 导出崩溃;通过 mapper 隔离 keqv 与 headdim 自动检测
Hymt2 qk norm 导出**:修复 Hymt2 qk norm 导出处理
Qwen2.5-Omni 音频预处理**:修复 Qwen2.5-Omni 音频预处理的边界情况
Qwen3-VL DeepStack dtype mismatch**:修复 Qwen3-VL DeepStack dtype 不一致问题
Qwen3-VL 重复输出:通过 per-RTM KVCACHEINFO meta 修复 Qwen3-VL 重复输出问题
maskQK gapLen**:将 gapLen 计算移动到 null mask early return 之后
GPU 后端
Vulkan attention 及其他算子修复**
Vulkan 静态符号查找改为动态符号**
Metal output reuse offset 错误**:修复 Metal 输出复用 offset 错误
Metal API 兼容性保护**:新增 Metal API 兼容性保护
OpenCL Attention 越界访问**:修复 Attention 算子在内存重分配前的越界访问
OpenCL LinearAttention GQA bug**:修复 OpenCL LinearAttention 的 GQA bug
CUDA Softmax echo / FP16FP32Mix**:修复 FP16FP32Mix 模式下 Softmax 回声伪影与 MatMul precisionType 问题
CUDA Windows / MNNCUDANATIVEARCH 编译:修复 CUDA 在 Windows 与 MNNCUDANATIVE_ARCH 下的 CMake 构建失败
QNN MSVC 编译**:修复 QNN 后端及 MNN2QNNModel 在 Windows MSVC 下的编译错误
CPU 后端
VNNI w4 < 64 计算错误**:修复 VNNI w4 < 64 的计算错误
KleidiAI int4 dequant**:升级 KleidiAI 到 v1.16.0,修复 block-quantized int4 模型的反量化错误
KleidiAI 路径映射**:修复将 MNN 作为子项目时的 KleidiAI 路径映射
KleidiAI depthwise SME2 guard**:为 KleidiAI depthwise conv 路径添加 SME2 guard
RVV pack/unpack 错误**:修复 RVV pack/unpack 函数错误
CPU sdot fallback:避免在 MemoryLow 外强制 fp32 fallback(CPU 无 sdot 时)
cstdint 包含缺失**:补全 cstdint 头文件
cpufreq 扫描错误日志**:修复扫描 cpufreq policy 目录时的错误日志
算子 / Converter
Unique 算子**:修复 Unique 算子使输出符合 ONNX 排序规范;修复 index 输出问题
TFLite binary activation**:修复 TFLite 转换器中 binary 激活的转换
ONNX Resize / Einsum**:修复 ONNX Resize 转换器回归与 Einsum 4D 非对齐 batch 维快速路径
cumsum int 类型不一致**:修复 cumsum int 类型不一致与 virtual type command 错误
Diffusion
SD1.5 resize cache warmup**:修复 SD1.5 resize cache warmup
tokenizer.hpp cstdint:修复 tokenizer.hpp 中 uint8t 未声明错误
diffusion llm link sep-build**:修复 sep-build 模式下的 llm 链接问题
编译 / Embedding / 其它
embeddingdemo 崩溃:修复 mMeta->add==0 导致的 embedding_demo 崩溃
PyMNN llm 子模块**:使 PyMNN 中的 llm 子模块可选导入
Windows PyMNN .pdb 膨胀**:移除 Windows 上的 /Zi 和 /DEBUG 标志,避免 .pdb 膨胀 wheel
dflash Windows MSVC 编译**:修复 dflash 在 Windows MSVC 下的编译错误
通用编译问题修复**:修复 commit f40b3d2a7 引入的若干编译问题
---
📚 其他改进
AGENTS.md**:将 CLAUDE.md 重命名为 AGENTS.md 并通过 include 转发
VirtualFaceCapture-MNN 加入 demo 列表**
MNNCUDANATIVEARCH 文档:补充 MNNCUDANATIVE_ARCH cmake 选项的文档
fp16 scale schema 同步**
代码清理:删除 MNNCPUDEQUANTGEMM:移除已废弃的 MNNCPUDEQUANT_GEMM 相关代码
代码清理:删除 WEIGHTDEQUANTGEMM 宏**:移除废弃宏,精简代码
---
📊 性能基准
<img width="4200" height="1800" alt="combined_bench" src="https://github.com/user-attachments/assets/958885de-bd8a-4749-b774-8e20f505f113" />
> 测试环境: Mac mini M4 (16GB) / OnePlus PJZ110 (Snapdragon 8 Elite) | 模型: Qwen3-0.6B / Qwen3-4B | 量化: W4 (block=64)
🙏 致谢
衷心感谢所有贡献者对本版本的宝贵贡献(按 GitHub login 列出):
@jxt1234** — ARMv8.2/v8.6 decode 优化 (#4389)、Metal Conv1x1 分支选择优化 (#4520)、Metal output reuse offset 修复 (#4365)、VNNI w4 < 64 修复 (#4366)、int4 reorder 优化 (#4511)、Geometry cumsum virtual type 修复 (#4391)
@Fatemanx (xly) — Wan2.1-T2V-1.3B 视频模型 (#4469)、CUDA Blackwell sm120 (#4467)、Qwen2.5-Omni 音频边界修复 (#4459)、Qwen3-VL DeepStack dtype 修复 (#4504)、Hymt2 qk norm 导出 (#4490)、SD
3.5.02026-04-07
MNN 3.5.0 版本发布说明
发布日期: 2026年4月
📌 版本概述
MNN 3.5.0 版本聚焦于 多后端 LLM 推理能力扩展、高性能量化与采样优化 以及 端侧语音交互体验增强 三大核心主题:
多后端 LLM 推理**: Vulkan 后端新增 LLM 推理支持;摩尔线程 MUSA 后端全新接入;QNN 后端支持 Attention 算子和更多 LLM 算子;RISC-V 向量扩展(RVV)支持落地。
高性能量化与采样优化**: 全新 TurboQuant TQ3/TQ4 KV Cache 量化方案;Sampler 重构为 Pipeline 架构并新增 Penalty 支持;多端 TopKV2 算子优化;多轮对话 Prompt Cache 支持。
端侧语音交互增强**: 异步三阶段 Token2Wav 流水线(DiT ∥ Vocoder);智能打断(AEC Barge-in)支持;实时视觉语音交互能力;TTS 模型支持(supertonic-tts-mnn)。
---
🚀 版本亮点
Vulkan LLM 推理**: Vulkan 后端全面支持 LLM 推理,拓展 GPU 推理覆盖面
MUSA 后端支持**: 全新接入摩尔线程 MUSA GPU 后端,支持国产 GPU 推理
RISC-V RVV 支持**: CPU 后端新增 RISC-V 向量扩展支持,拓展 RISC-V 生态
TurboQuant TQ3/TQ4**: 全新 KV Cache 量化方案,降低内存占用的同时保持推理质量
Sampler Pipeline 重构**: 采样器重构为流水线架构,支持 Penalty 等高级采样策略
多轮对话 Prompt Cache**: 文本级别 Prompt Cache,显著加速多轮对话首 Token 延迟
异步 Token2Wav 三阶段流水线**: DiT 与 Vocoder 并行的三阶段流水线,大幅提升语音合成吞吐
智能语音打断(AEC Barge-in)**: 支持回声消除的智能语音打断,提升语音交互自然度
Tokenizer 全面重构**: minja → jinja 模板引擎迁移,二进制 tokenizer 格式(tokenizer.mtok),加载速度 20x+ 提升
GLM-OCR / LFM 模型支持**: 新增 GLM-OCR 和 LFM(Liquid Foundation Model)模型推理支持
Metal/CUDA/OpenCL TopKV2**: 多端 TopKV2 算子实现与优化
---
✨ 新功能
LLM/VLM
多轮对话 Prompt Cache**: 新增文本级别 Prompt Cache,多轮对话场景下显著加速首 Token 生成
GLM-OCR 支持**: 新增 GLM-OCR 模型推理支持
LFM 支持**: 新增 Liquid Foundation Model (LFM) 推理支持
Qwen3.5 Smooth/Omni 导出**: 支持 Qwen3.5 的 Smooth 量化和 Omni 模态导出
Sampler Pipeline 重构**: 采样器重构为流水线架构,新增 Penalty 机制支持
异步 Token2Wav 三阶段流水线**: 将 Token 到音频的转换拆分为 DiT 和 Vocoder 并行的三阶段流水线
异步 Token2Wav 多运行时支持**: Talker 的 LLM 和处理器使用不同运行时时支持异步 Token2Wav
Tokenizer 重构**: 全面重构 Tokenizer 系统:minja → jinja 模板引擎迁移;新增二进制 tokenizer 格式(tokenizer.mtok)替代文本格式;统一 JSON 处理(ujson.hpp);加载速度提升 20x+,编解码性能数倍提升;对齐 HuggingFace Transformers 实现
Linear Attention 磁盘存储**: 支持 Linear Attention 循环状态的磁盘读写
mmapsize 配置: 新增 mmap_size 配置项,支持控制内存映射大小
llmbench Profile: llm_bench 新增 Profile 功能
GPU 后端
Vulkan LLM 推理**: Vulkan 后端全面支持 LLM 模型推理
MUSA 后端**: 全新接入摩尔线程 MUSA GPU 后端
Metal TopKV2**: Metal 后端新增 TopKV2 算子实现
OpenCL TopKV2**: OpenCL 后端新增 TopKV2 算子实现
CUDA TopKV2 优化**: 使用堆排序替代插入排序并结合循环展开,大幅提升 TopKV2 性能
Metal While/BatchMatMul 4x4 分块**: 通过 4x4 寄存器分块优化 While 和 BatchMatMul 算子
Metal gemv/Binary/Scale 优化**: 优化 gemv localsize、Binary 平面调度和 Scale 无偏置路径;移除 defer encoder
OpenCL LinearAttention 优化**: 优化 OpenCL LinearAttention 算子性能
Metal LinearAttention 优化**: 优化 Metal LinearAttention 算子性能
OpenCL 内核创建保护**: 为所有 OpenCL 算子添加内核创建保护机制
QNN Attention 支持: QNN 后端支持 LLM Attention 算子,含 maxhistory_token 配置
QNN 新增算子**: QNN 后端新增 Transpose/UnPack/Pack 算子支持
CUDA Qwen3.5 优化**: CUDA 后端针对 Qwen3.5 模型进行优化
CPU 后端
RISC-V RVV 支持**: CPU 后端新增 RISC-V 向量扩展(RVV)支持
TurboQuant TQ3/TQ4**: 新增 TQ3/TQ4 KV Cache 量化方案
LinearAttention NEON 优化**: 使用 NEON 汇编和 FP16 优化 LinearAttention 算子
应用与工具
智能语音打断(AEC Barge-in)**: MNNChat 支持基于回声消除的智能语音打断
实时视觉语音交互**: MNNChat 实现交互式语音聊天的实时视觉能力
TTS 模型支持**: Android MNNChat 支持 supertonic-tts-mnn 模型
繁体中文支持**: Android 应用新增繁体中文(zh-rTW)语言支持
F-Droid 上架**: 新增 Fastlane 元数据,支持 F-Droid 应用商店上架
CDN 自动上传**: 新增基于 ali-oss 的 CDN 自动上传和市场配置上传脚本
---
🐛 缺陷修复
Prefix Disk Cache**: 修复首次响应后前缀磁盘缓存未加载的问题
Jinja 渲染上下文: 修复 enablethinking 等 Jinja 上下文未传递到模板渲染的问题
Jinja 数组拼接**: 修复 Jinja 二元加法处理数组时的错误
mmap 权重死锁**: 增强状态验证,避免部分初始化的 mmap 权重导致死锁
KV Cache 污染**: 修复 OmniQuant 校准前向传播中的 KV Cache 污染问题
LLM 文件加载检查**: Llm::load 中新增文件存在性和权限检查
LLM 状态检查**: 修复 LLM 运行状态检查逻辑
MoE 专家属性获取**: 修复 transformers@5.3.0 中 MoE 专家 getattr 兼容性问题
llmexport Windows 崩溃**: 修复 Windows 下使用 os.dup2 导致的 llmexport 崩溃
llmbench 修复: 使用 context 中的 ngen 修复 llmbench 统计
Qwen3-Embedding QNN 导出**: 修复 Qwen3-Embedding 的 QNN 导出流程
离线量化余弦距离**: 修复离线量化中余弦距离计算错误
int4 Embedding 计算**: 修复 int4 Embedding 计算 size 错误
KV Cache 元数据拷贝**: 元数据不一致时不再复制 KV Cache
GeometryGather 崩溃**: 修复 GPU 场景下 const indice 的 GeometryGather 崩溃
Metal 外部偏置**: 修复读取 float 外部偏置的错误
Metal Attention 测试**: 修复 Attention 算子测试问题
MNNConvert NC4HW4**: 修复部分 Shape 算子计算 ONNX NC4HW4 输入错误
MNNDump2Json 溢出**: 修复 MNNDump2Json 中的整数溢出
ONNX Shape start/end**: 支持 ONNX Shape 算子的 start/end 参数并保持 OpParameter 兼容性
Pipeline::execute 编译错误**: 修复 info.group 导致的编译错误
Windows 编译错误**: 修复 LLM Windows 编译错误
MNNChat 多项修复**: 修复 Android 流式步骤终止、模型设置路径重置、添加本地模型崩溃、聊天自动滚动等多项问题
---
📚 其他改进
代码规范**: 新增 .clang-format 配置和 pre-commit hooks;CI 新增格式化检查
安全策略**: 新增 SECURITY.md 安全策略文档和 PR 模板
文档重构**: 重构文档结构,改善导航和新手体验
Zread 徽章**: 所有 README 文件新增 Zread 徽章
Demo 增强**: Demo 新增输入张量维度类型检测,支持 CAFFE 和 TENSORFLOW 格式
CI**: MNN 发布工作流忽略 Android 标签
---
📊 LLM 性能测试
Android 平台
<img width="2400" height="2000" alt="mnn-3 5 0-anrdoid-bench" src="https://github.com/user-attachments/assets/34b41a3d-2dbb-4cd8-a0c8-a7eeea8f38af" />
iOS 平台
<img width="2400" height="2000" alt="mnn-3 5 0-ios-bench" src="https://github.com/user-attachments/assets/38cb1f5a-d5d7-4400-bea8-5e6b445042ff" />
---
🙏 致谢
衷心感谢所有贡献者对本版本的宝贵贡献:
@jxt1234** - Metal/OpenCL TopKV2、Metal 性能优化、QNN Attention/算子支持、GeometryGather 修复、MNNConvert 修复
@Jinde.Song** - MNNChat Android 多项功能与修复、CDN 自动上传、版本发布稳定性
@EricMoin** - 异步 Token2Wav 三阶段流水线、Talker 运行时管理重构
@ᡠᠵᡠᡳ ᡠᠵᡠ ᠮᠠᠨᡩ᠋ᠠᠨ** - F-Droid 上架、CI 工作流改进
@YinHanke** - Qwen3.5 Smooth/Omni 导出、Qwen3-Embedding QNN 修复、ONNX Shape 兼容性
@Jed Lee(lijunde)** - 实时视觉语音交互、智能语音打断(AEC)、TTS 模型支持
@rainy liu** - CUDA TopKV2 堆排序优化、Metal While/BatchMatMul 4x4 分块优化
@hebangwen - Pipeline::execute 编译修复、llmbench 修复
@Jan Slominski** - 多轮对话 Prompt Cache
@dongyang-mt** - 摩尔线程 MUSA 后端支持
@Sherlockzhangjinge** - RISC-V RVV 向量扩展支持
@JackWinterCN** - 离线量化余弦距离修复
@luckysmg** - Prefix Disk Cache 修复
@Riverspring996** - mmap 权重死锁修复
@N Wang** - KV Cache 污染修复
@Xiaochao Fang** - 添加本地模型崩溃修复
@EdwardWu** - 繁体中文支持
@wk** - Demo 输入张量维度类型检测
---
完整变更日志: https://github.com/alibaba/MNN/compare/3.4.1...3.5.0
---
MNN 3.5.0 Release Notes
Release Date: April 2026
📌 Overview
MNN 3.5.0 focuses on three core themes: Multi-Backend LLM Inference Expansion, High-Performance Quantization & Sampling Optimization, and On-Device Voice Interaction Enhancement:
Multi-Backend LLM Inference**: Vulkan backend adds LLM inference support; Moore Threads MUSA backend newly integrated; QNN backend supports Attention operator and more LLM operators; RISC-V Vector extension (RVV) support landed.
High-Performance Quantization & Sampling**: New TurboQuant TQ3/TQ4 KV Cache quantization; Sampler refactored to pipeline architecture with new penalty support; Multi-backend TopKV2 operator optimization; Multi-turn prompt cache support.
On-Device Voice Interaction Enhancement**: Async 3-stage Token2Wav pipeline (DiT ∥ Vocoder); Smart barge-in with AEC support; Real-time vision for voice chat; TTS model support (supertonic-tts-mnn).
---
🚀 Highlights
Vulkan LLM Inference**: Full LLM inference support on Vulkan backend, expanding GPU inference coverage
MUSA Backend Support**: New Moore Threads MUSA GPU backend integration for domestic GPU inference
RISC-V RVV Support**: CPU backend adds RISC-V Vector extension support, expanding the RISC-V ecosystem
TurboQuant TQ3/TQ4**: New KV Cache quantization scheme that reduces memory usage while maintaining inference quality
Sampler Pipeline Refactor**: Sampler refactored to pipeline architecture with penalty and advanced sampling strategies
Multi-Turn Prompt Cache**: Text-level prompt cache that significantly accelerates time-to-firs
3.4.12026-03-05
MNN 3.4.1 版本发布说明
发布日期: 2026年3月
📌 版本概述
MNN 3.4.1 版本聚焦于 Qwen3.5 模型支持与 Linear Attention 算子、LLM 资源管理优化 与 安全性修复 三大核心主题:
Qwen3.5 支持与 Linear Attention**: 全新实现 Linear Attention 算子,覆盖 CPU、Metal、OpenCL、Vulkan 四大后端(性能待优化),支持 Qwen3.5 系列混合注意力架构;llmexport 新增对应模型导出能力。
LLM 资源管理优化**: LLM 实例内置独立 Executor 并在所有公开方法中使用 ExecutorScope,确保计算资源正确作用域化和及时释放,解决 Python 调用场景下的资源泄漏问题。
安全性与稳定性**: 修复多个 Shape 算子和执行算子中的内存安全漏洞;修复 HQQ 量化 OOM 和大词表 Embedding 溢出;修复多个 LLM 和 GPU 后端缺陷。
---
🚀 版本亮点
Qwen3.5 模型支持**: 全新支持 Qwen3.5 及 Qwen3.5-MoE 系列模型,包括导出和推理
Linear Attention 算子**: CPU/Metal/OpenCL/Vulkan 四端实现(性能待优化),支持 Gated Delta Rule 循环状态更新
Vulkan CoopMat Conv1x1**: Vulkan 后端 Conv1x1 算子支持协作矩阵加速,进一步提升矩阵计算性能
LLM Executor 内置化**: 每个 LLM 实例自带独立 Executor,Python 绑定下资源释放更可靠
内存安全修复**: 修复 7 个 Shape/执行算子中的越界访问、零步长、重复索引等安全漏洞
HQQ 大模型量化修复**: 修复 Qwen3.5-27B 等大模型 HQQ 量化 OOM 问题
Sana Diffusion 增强**: iOS/Android 全面支持 Sana 风格迁移、Omni 音频输出、视频输入等新功能
Metal 后端增强**: MetalConvolutionDepthwise 支持 Clone;修复 INT8/INT4 Conv2D 计算错误
---
✨ 新功能
LLM/VLM
Qwen3.5 模型支持**: 支持 Qwen3.5 和 Qwen3.5-MoE 模型的导出与推理,包括混合线性注意力架构
Linear Attention 算子**: 全新实现,包含 Conv1D + SiLU 激活、QKV 拆分、GQA(分组查询注意力)、L2 归一化和 Gated Delta Rule 循环状态更新
* CPU: 完整实现含卷积状态和循环状态缓冲区管理
Metal: 三个 Compute Pipeline(convsilu、convstateupdate、gateddeltarule)
* OpenCL: Buffer 模式实现含专用 OpenCL 内核
* Vulkan: 三个 GLSL Compute Shader 实现
* 以上实现均为功能实现,性能还需优化
LLM Executor 内置化**: 每个 Llm 实例构造时创建独立 Executor,所有公开方法自动使用 ExecutorScope,析构时确保资源完整释放
新增 Tokenizer Demo(tokenizerdemo.cpp)
GPU 后端
Vulkan CoopMat Conv1x1**: 新增 VulkanConv1x1Coop 实现,包含 C4/COOP 数据布局转换和 INT4/INT8 权重转换 Shader
Metal Clone 支持**: MetalConvolutionDepthwise 支持 onClone() 操作
应用与工具
Sana Diffusion(iOS)**: 新增风格迁移、Omni 音频输出、视频输入支持;新增批量测试框架
Sana Diffusion(Android)**: 新增 Sana 原生 JNI 层和 Kotlin 会话封装;新增 Diffusion 设置界面
Android Debug 工具**: 新增 Benchmark/Download/Market/Sana/OpenAPI 多个 Stetho Dumper 插件
Android 冒烟测试**: 新增完整的冒烟测试框架,包含环境检查、安装、UI 捕获、回归测试和报告生成
Sana 独立应用**: 新增 apps/sana/ 独立脚本工具,支持 Android 和主机端 Benchmark
---
🔒 安全修复
修复多个算子中的内存安全漏洞:
CPURandomUniform**: 增加 size <= 0 边界检查和 low < high 验证;增加类型特定处理
ShapeSliceTf**: 修复负值/越界 begin 值导致的越界访问
ShapeSpaceToBatchND**: 增加 blockSize + spatialStart 越界检查和 blockData <= 0 验证
ShapeSpaceToDepth: 将 MNNASSERT 替换为正确的错误返回;增加 H/W 对 blockSize 的整除检查
ShapeSqueeze**: 增加维度数上限检查和轴范围验证
ShapeStridedSlice: 增加零步长检查,替换 MNNASSERT 为优雅失败
ShapeTranspose**: 增加重复排列索引检测,防止非法内存访问
---
🐛 缺陷修复
HQQ 量化 OOM**: 修复 Qwen3.5-27B 等大模型量化时单 GPU 显存溢出,采用分块量化策略
Embedding 整数溢出: 大词表(~240K tokens)场景下 DiskEmbedding 偏移量从 int 改为 sizet
LLM JSON 合并: 修复 Jinja 配置中 mergeand_clear 的 JSON 递归合并问题
多模态 OOB 崩溃: 修复 llmbench 中多模态模型的越界崩溃
Reranker Demo 崩溃: 修复未加载模型时 rerankerdemo 崩溃
Metal INT8/INT4 Conv2D**: 修复 weighti8i4conv2d 算子测试错误
Benchmark 崩溃**: 修复 Android Benchmark 崩溃问题
Sana Resize 阈值**: 修正 Sana resize 阈值设置
---
📚 其他改进
CI**: 新增 LLM PR Review 自动化流程;pymnn 发布工作流升级至 macOS-14
Android 测试**: 新增大量单元测试(ChatPresenter、ChatRouter、ChatInput、ModelListManager、ModelMarket 等)
iOS 应用**: 本地化全面更新;新增后端配置 UI;新增本地模型索引管理
Android 应用**: 模型市场大幅扩充;新增主设置页面;Debug Activity 增强
---
🙏 致谢
衷心感谢所有贡献者对本版本的宝贵贡献:
@jxt1234** - Metal Clone 支持与后端修复
@yanxing** - LLM Benchmark 修复与 CI 改进
@若遗** - Sana Android 集成与 Benchmark 修复
---
📦 不兼容变更
LLM 实例现在内置独立 Executor,llmdemo.cpp 中不再需要外部创建 ExecutorScope(已自动移除)
---
完整变更日志: https://github.com/alibaba/MNN/compare/3.4.0...3.4.1
---
---
MNN 3.4.1 Release Notes
Release Date: March 2026
📌 Overview
MNN 3.4.1 focuses on three core themes: Qwen3.5 Model Support with Linear Attention, LLM Resource Management Optimization, and Security Fixes:
Qwen3.5 Support & Linear Attention**: Implements a new Linear Attention operator across CPU, Metal, OpenCL, and Vulkan backends to support the Qwen3.5 series hybrid attention architecture; llmexport adds corresponding model export capabilities.
LLM Resource Management**: Each LLM instance now creates its own Executor and uses ExecutorScope in all public methods, ensuring proper resource scoping and timely release, especially in Python binding scenarios.
Security & Stability**: Fixes memory safety vulnerabilities in multiple shape and execution operators; fixes HQQ quantization OOM and large-vocabulary embedding overflow; addresses multiple LLM and GPU backend issues.
---
🚀 Highlights
Qwen3.5 Model Support**: Full support for Qwen3.5 and Qwen3.5-MoE series models, including export and inference
Linear Attention Operator**: Implemented across all four backends (CPU/Metal/OpenCL/Vulkan) with Gated Delta Rule recurrent state updates
Vulkan CoopMat Conv1x1**: Cooperative matrix acceleration for Conv1x1 on Vulkan backend
Built-in LLM Executor**: Each LLM instance manages its own Executor, enabling reliable resource cleanup in Python bindings
Memory Safety Fixes**: Fixed 7 shape/execution operators with out-of-bounds access, zero-stride, and duplicate index vulnerabilities
HQQ Large Model Fix**: Fixed OOM when quantizing large models like Qwen3.5-27B with HQQ
Sana Diffusion Enhancement**: iOS/Android support for Sana style transfer, Omni audio output, video input, and more
Metal Backend Enhancement**: MetalConvolutionDepthwise Clone support; INT8/INT4 Conv2D fix
---
✨ New Features
LLM/VLM
Qwen3.5 Model Support**: Export and inference support for Qwen3.5 and Qwen3.5-MoE models with hybrid linear attention architecture
Linear Attention Operator**: Full implementation including Conv1D + SiLU activation, QKV split, GQA (Grouped Query Attention), L2 normalization, and Gated Delta Rule recurrent state update
* CPU: Complete implementation with convolution state and recurrent state buffer management
Metal: Three compute pipelines (convsilu, convstateupdate, gateddeltarule)
* OpenCL: Buffer mode implementation with dedicated OpenCL kernel
* Vulkan: Three GLSL compute shader implementation
Built-in LLM Executor**: Each Llm instance creates its own Executor at construction, all public methods use ExecutorScope automatically, destructor ensures complete resource cleanup
Added Tokenizer Demo (tokenizerdemo.cpp)
GPU Backends
Vulkan CoopMat Conv1x1**: New VulkanConv1x1Coop with C4/COOP data layout conversion and INT4/INT8 weight conversion shaders
Metal Clone Support**: MetalConvolutionDepthwise supports onClone() operation
Apps & Tools
Sana Diffusion (iOS)**: Style transfer, Omni audio output, video input support; batch test framework
Sana Diffusion (Android)**: Native JNI layer and Kotlin session wrapper; Diffusion settings UI
Android Debug Tools**: Multiple Stetho dumper plugins for Benchmark/Download/Market/Sana/OpenAPI
Android Smoke Tests**: Complete smoke testing framework with environment checks, installation, UI capture, regression tests, and report generation
Sana Standalone App**: New apps/sana/ standalone scripts for Android and host benchmarking
---
🔒 Security Fixes
Fixed memory safety vulnerabilities in multiple operators:
CPURandomUniform**: Added size <= 0 bounds check and low < high validation; type-specific handling
ShapeSliceTf**: Fixed out-of-range begin values causing out-of-bounds access
ShapeSpaceToBatchND**: Added blockSize + spatialStart overflow check and blockData <= 0 validation
ShapeSpaceToDepth: Replaced MNNASSERT with proper error returns; added H/W divisibility chec
3.4.02026-02-07
MNN 3.4.0 版本发布说明
发布日期: 2026年2月
📌 版本概述
MNN 3.4.0 版本聚焦于 GPU/QNN 后端能力深化、Attention 计算及长文本内存优化 与 GPU 线上运行稳定性 三大核心主题:
GPU/QNN 能力深化**: Vulkan 后端新增 LLM 推理支持并引入 CoopMat 矩阵加速指令;Metal 后端支持 TensorAPI 和 Flash Attention;QNN 后端扩展支持 Qwen3 系列和 VL 模型,并新增 Python 直接导出和 OmniQuant 量化能力。
Attention 与长文本内存优化: CPU 和 Metal 后端全面支持 Flash Attention;CPU 支持 KV Cache 量化;新增 Prefix KV Cache 支持;新增统一的 attentionmode 配置选项,为长文本场景显著降低内存占用。
GPU 线上运行稳定性**: 新增 iOS 后台检测机制,当 APP 切到后台时 GPU 计算会被系统拒绝,现在会正确返回错误码;修复多个 GPU 后端的稳定性问题。
---
🚀 版本亮点
Vulkan LLM 支持**: Vulkan 后端新增 LLM 推理支持,覆盖更多 Android 设备
Vulkan CoopMat 加速**: Vulkan 支持协作矩阵 (CoopMat) 指令,大幅加速矩阵乘法运算
Metal TensorAPI 支持**: Metal 后端支持 TensorAPI,M5 芯片性能大幅提升
Metal Flash Attention**: Metal 后端实现 Flash Attention,显著降低内存占用
CPU Flash Attention: CPU 后端支持 Flash Attention,新增 attentionmode 统一配置选项
CPU KV Cache 量化**: CPU Attention 支持 KV Cache 量化,降低内存占用
Prefix KV Cache**: 支持 Prefix KV Cache,提升长文本推理效率
投机解码增强**: Metal 支持 Eagle3 和 Lookahead 投机解码;提供 Qwen3 系列 Eagle3 权重
QNN 增强**: QNN 后端支持 Qwen3 系列和 VL 模型;支持 Python 直接导出;支持 OmniQuant 量化
混合精度量化**: llmexport 支持通过配置文件进行混合精度量化
llmexport 重构**: 重构模型导出逻辑,模型抽象更加完善
Loop 算子 GPU 优化**: OpenCL 和 Metal 优化 Loop 算子,支持纯 GPU 实现无需回退 CPU
RISC-V Vector (RVV) 优化**: 全面使用向量内置函数优化核心算子
Vulkan Buffer FP16**: Vulkan buffer 模式完整支持 FP16 计算路径
KleidiAI 集成**: 新增编译选项,默认启用 KleidiAI fp32 深度卷积内核
---
✨ 新功能
LLM/VLM
Flash Attention**: CPU 和 Metal 后端支持 Flash Attention,Metal 支持三种模式可选
KV Cache 量化**: CPU Attention 支持 Query/Key/Value 的 8bit 非对称量化
Prefix KV Cache**: 支持 Prefix KV Cache,提升长文本推理效率
投机解码**: Metal 后端支持 Eagle3 和 Lookahead 投机解码;提供 Qwen3 系列 Eagle3 权重
llmexport 重构**: 重构模型导出逻辑,支持混合精度量化配置和无权重导出
新增 attentionmode 选项: 统一配置 Attention 行为,废弃 quant_qkv 选项
* CPU: 0, 1, 2, 8, 9, 10(默认 8),控制 Flash Attention 和 QKV 量化
* GPU (Metal): 0, 8, 16(默认 8),控制 Flash Attention 实现方式
新增 Fun-Audio-Chat-8B 模型支持;LoRA 支持克隆 LayerNorm;llmbench 支持 JSON 输出
GPU、QNN 后端
Vulkan**: 新增 LLM 推理支持;CoopMat 矩阵加速;buffer 模式完整支持 FP16
Metal**: TensorAPI 支持(M5 芯片性能提升);iOS 后台检测机制;Loop 算子优化
OpenCL**: Loop 算子纯 GPU 实现;mmap 权重存储
QNN**: 支持 Qwen3 系列和 VL 模型;Python 直接导出;OmniQuant 量化
工具与应用
* MNNConvert: 新增 dump pass 和 ConvPad 融合优化
* mnncli 重构: 增加测试、Linux 构建、QNN 库下载
* 新增 Supertonic TTS、Sana diffusion、Sherpa-MNN TTS Demo 支持
MNN Chat (Android)**: 模型市场优化、多图片输入、Debug 工具
---
⚡ 性能优化
CPU**: LayerNorm/MatMul/二元广播优化;线程池开销降低;Attention Softmax 缓存优化
RISC-V Vector**: 全面优化 pack/unpack、转置、数学、卷积、Softmax、CV 等核心函数
KleidiAI**: 新增编译选项默认启用 fp32 深度卷积内核
---
🐛 缺陷修复
核心: 修复 axis() 返回 nullptr 崩溃;新增 SSE_MNNSoftmax 修复 AVX2 禁用时崩溃
GPU**: 修复 iOS LLM 后台执行报错;修复 OpenCL/Vulkan/Metal 多个计算和稳定性问题
LLM**: 修复 FastVLM/Eagle 导出问题;修复 CPU Attention 量化溢出
工具**: 修复 MNN2QNNModel、diffusion 导出、mnncli 等问题
---
📚 其他改进
文档**: 新增 NPU 导出和 Attention 量化参数文档
CI**: 新增 GitHub/内部代码自动同步脚本;SmolVLM 测试;LLM 夜间测试
构建**: 默认启用 KleidiAI;RVV 宏跨平台支持;Linux mnncli 构建
🙏 致谢
衷心感谢所有外部贡献者对本版本的宝贵贡献:
@ihb2032** - 全面的 RISC-V Vector (RVV) 优化
@jxt1234** - 性能优化与缺陷修复
@HenryDen** - KleidiAI 集成
@Juude** - TTS/App 优化与 mnncli 重构
@vra** - Supertonic TTS 支持
@zlaazlaa** - Diffusion 导出修复
@bolun365** - MNN 库构建脚本
@JunKnows** - OpenCL/Vulkan 修复
@rainyl** - CMake 改进
@LudovicoYIN** - 量化工具修复
@codefuturedalao** - 代码优化
@EricMoin** - 变量初始化修复
@Edward-Elric233** - MinGW 构建支持
@AliasJeff** - 文档和 CLI 改进
@jules-ai** - 文档修正
@vvverily** - App 文案修正
---
📦 不兼容变更
quantqkv 选项已废弃,请使用 attention_mode
---
完整变更日志: https://github.com/alibaba/MNN/compare/3.3.0...3.4.0
---
---
MNN 3.4.0 Release Notes
Release Date: February 2026
📌 Overview
MNN 3.4.0 focuses on three core themes: Deepening GPU/QNN Backend Capabilities, Optimizing Attention Computation & Long-Context Memory Usage, and GPU Runtime Stability:
GPU/QNN Capability Enhancement**: Vulkan backend adds LLM inference support with CoopMat matrix acceleration; Metal backend supports TensorAPI and Flash Attention; QNN backend extends to support Qwen3 series and VL models with direct Python export and OmniQuant quantization.
Attention & Long-Context Memory Optimization: CPU and Metal backends fully support Flash Attention; CPU supports KV Cache quantization; Prefix KV Cache support added; new unified attentionmode configuration option significantly reduces memory usage for long-context scenarios.
GPU Runtime Stability**: Added iOS background detection mechanism - when app goes to background, GPU computation is rejected by the system, now correctly returns error code; fixed multiple GPU backend stability issues.
---
🚀 Highlights
Vulkan LLM Support**: Vulkan backend now supports LLM inference, extending coverage to more Android devices
Vulkan CoopMat Acceleration**: Vulkan supports Cooperative Matrix (CoopMat) instructions for significantly faster matrix multiplication
Metal TensorAPI Support**: Metal backend supports TensorAPI, significant performance boost on M5 chips
Metal Flash Attention**: Metal backend implements Flash Attention with significantly reduced memory usage
CPU Flash Attention: CPU backend supports Flash Attention with new unified attentionmode option
CPU KV Cache Quantization**: CPU Attention supports KV Cache quantization to reduce memory usage
Prefix KV Cache**: Support for Prefix KV Cache, improving long-text inference efficiency
Speculative Decoding Enhancement**: Metal supports Eagle3 and Lookahead speculative decoding; Qwen3 Eagle3 weights provided
QNN Enhancement**: QNN backend supports Qwen3 series and VL models; direct Python export; OmniQuant quantization support
Mixed Precision Quantization**: llmexport supports mixed precision quantization via config file
llmexport Refactoring**: Refactored model export logic with improved model abstraction
Loop Op GPU Optimization**: OpenCL and Metal optimize Loop operator, pure GPU implementation without CPU fallback
RISC-V Vector (RVV) Optimization**: Comprehensive intrinsic optimization across core operations
Vulkan Buffer FP16**: Full FP16 compute path for Vulkan buffer mode
KleidiAI Integration**: Added compile option to enable KleidiAI fp32 depth-wise kernels by default
---
✨ New Features
LLM/VLM
Flash Attention**: CPU and Metal backends support Flash Attention, Metal with three selectable modes
KV Cache Quantization**: CPU Attention supports 8-bit asymmetric quantization for Query/Key/Value
Prefix KV Cache**: Support for Prefix KV Cache, improving long-text inference efficiency
Speculative Decoding**: Metal supports Eagle3 and Lookahead; Qwen3 Eagle3 weights provided
llmexport Refactoring**: Refactored model export logic, supports mixed precision quantization and weight-free export
New attentionmode Option: Unified configuration for Attention behavior, deprecates quant_qkv
* CPU: 0, 1, 2, 8, 9, 10 (default 8), controls Flash Attention and QKV quantization
* GPU (Metal): 0, 8, 16 (default 8), controls Flash Attention implementation
Added Fun-Audio-Chat-8B support; LoRA supports cloning LayerNorm; llmbench supports JSON output
GPU/QNN Backends
Vulkan**: Added LLM inference support; CoopMat matrix acceleration; full FP16 buffer mode
Metal**: TensorAPI support (M5 chip performance boost); iOS background detection; Loop op optimization
OpenCL**: Pure GPU Loop operator implementation; mmap weight storage
QNN**: Supports Qwen3 series a
3.3.0 NPU 支持 / SME2 指令加速 / EAGLE 投机解码加速2025-10-31
MNN 3.3 Release Note
一、大语言模型(LLM)能力增强
新增模型支持**:
支持 Qwen2.5-Omni、Qwen3-VL、GPT-OSS、MiniCPM-4、Fast VLM 、GTE Reranker** 等主流开源模型。
支持 Attention Sink、Sliding Window Attention**
LLM 推理优化**:
新增 EAGLE-3 投机解码 支持,Mac CPU 上 Llama3-8B decode 性能提升达 2.24x**。
完善 Python 接口**,支持多模态推理、逐步推理、context 信息获取等能力。
量化与精度**:
集成 HQQ 量化算法,与AWQ算法精度接近,但量化时间远低于AWQ(Qwen 2.5 - 0.5B 各类量化方案 ppl 数据: 原始: 17.83 ;awq: 17.08 ;hqq : 16.85**)
支持 SmoothQuant 与 输入 per-tensor 量化**。
支持 DiskEmbedding 4/8bit 量化**,并优化缓存读取速度。
二、硬件加速与 NPU 支持
CPU 加速**:
实现 SME(Scalable Matrix Extension)指令集** 支持,在 Armv9 设备上大幅提升 LLM 与 CV 模型性能。
Qwen2.5-1.5B 在 SME2 上 Prefill 性能相比 Arm86 提升 2~3 倍**。
ResNet50 FP16 单线程推理加速 3 倍**。
CUDA 后端支持LLM**:
Cutlass 升级至 4.0.0**(LLM 模式下),并改为编译时下载。
新增 CUDA Attention 算子**,支持 LLM 模型运行。
支持 int4 / int8 权重低内存计算**,以降低LLM显存占用。
GPU 后端修复**:
修复 OpenCL** 运行 Qwen Omni 出错问题,修正 OpenCL 在 MTK 部分芯片上计算 Attention 出错问题。
新增 OpenCL Kernel MD5 校验**,避免缓存污染。
NPU 支持LLM**:
支持 高通 QNN(NPU)** 运行 LLM 与 Vision 模型。
新增 联发科(MTK)NPU** 对 LLM 的支持。
NPU 参考性能数据:
小米14 - Qwen3-4B-int4
<img width="924" height="260" alt="image" src="https://github.com/user-attachments/assets/aa9b39c1-eccf-42d8-a316-a371d797e600" />
天玑9300-计算盒 - Qwen3-4B-int4
<img width="772" height="252" alt="image" src="https://github.com/user-attachments/assets/990b699d-ac52-4e26-ae93-0a54452f2907" />
三、框架功能与稳定性提升
核心框架改进**:
新增 setorder 接口,支持动态修改 VARP 布局。
* 修复多个 crash 问题,包括:
* StridedSlice 在 zero shape + 缩轴到 scalar 时崩溃;
* Module 加载输入不足时崩溃;
* Arm82 后端 Resize Error(因 CPUResizeCache 管理问题)。
Python 兼容性**:
修复 PyMNN 在 Python 3.13+ 编译失败** 的问题。
模型转换优化**:
* 修正 RemoveUnuseFul / RemoveCopy Pass 可能导致输入/输出丢失的问题。
* 支持 GRU / LSTM 量化:通过分解算子为控制流 + Convolution 实现。
四、开源社区与兼容性
* 修复多个社区反馈问题(Issue #3623、#3632、#3690、#3701、#3774、#3780、#3850 等)。
* 提升跨平台兼容性,包括 Windows ARM、macOS、Android、iOS、鸿蒙等。
---
MNN 3.3 版本持续聚焦 端侧大模型高效推理 与 多硬件平台统一部署,并积极回馈开源社区。
3.2.5预发布2025-10-16
MNN 3.2.5 Release Note
核心功能更新
1. 新增HQQ量化算法支持
- 在MNNConvert工具中集成HQQ量化算法,可通过--hqq参数启用
- HQQ量化支持非对称量化,能显著提升量化模型的精度
- 支持与分块量化结合使用,进一步优化模型精度
2. 支持EAGLE-3推测解码算法
- 新增EAGLE-3推测解码算法实现,提升大语言模型推理效率
- 实现了EagleGeneration类,支持基于草稿模型的推测解码
- 提供了Eagle模型导出工具,支持导出eagle、eaglefc和eagled2t三个组件
3. Qwen系列模型增强支持
- 修复并优化Qwen3-Embedding模型的推理问题
- 新增对Qwen3-VL多模态大模型的支持
- 完善了llmexport工具对Qwen系列模型的导出支持
详细变更内容
模型推理优化
- 重构了LLM模型加载逻辑,在Llm::load()方法中增加了更完善的错误处理
- 优化了KV Cache管理器的实现,提升了推理过程中的内存管理效率
- 改进了Metal后端的注意力机制实现
- 优化了OpenCL后端的卷积执行效率
量化工具改进
- 在WeightQuantAndCoding.cpp中集成了HQQ量化器,支持更精确的权重量化
- 优化了量化参数配置逻辑,当启用HQQ时自动设置非对称量化
- 修复了量化过程中的一些bug,提升了量化稳定性
模型导出增强
- 完善了llmexport工具的错误处理和日志输出
- 优化了模型导出流程,提升了导出稳定性
- 修订了压缩工具相关文档,增加了HQQ量化使用说明
---
Core Feature Updates
1. Added Support for HQQ Quantization Algorithm
- Integrated HQQ quantization algorithm into MNNConvert tool, which can be enabled via the --hqq parameter
- HQQ quantization supports asymmetric quantization, significantly improving the accuracy of quantized models
- Supports combination with block-wise quantization to further optimize model accuracy
2. Added Support for EAGLE-3 Speculative Decoding Algorithm
- Implemented EAGLE-3 speculative decoding algorithm to improve large language model inference efficiency
- Implemented EagleGeneration class to support draft model-based speculative decoding
- Provided Eagle model export tools supporting export of three components: eagle, eaglefc, and eagled2t
3. Enhanced Support for Qwen Series Models
- Fixed and optimized inference issues with Qwen3-Embedding model
- Added support for Qwen3-VL multimodal large model
- Improved llmexport tool's export support for Qwen series models
Detailed Changes
Model Inference Optimization
- Refactored LLM model loading logic with enhanced error handling in the Llm::load() method
- Optimized KV Cache manager implementation to improve memory management efficiency during inference
- Improved attention mechanism implementation in Metal backend
- Optimized convolution execution efficiency in OpenCL backend
Quantization Tool Improvements
- Integrated HQQ quantizer in WeightQuantAndCoding.cpp for more precise weight quantization
- Optimized quantization parameter configuration logic to automatically set asymmetric quantization when HQQ is enabled
- Fixed bugs in the quantization process, improving quantization stability
Model Export Enhancements
- Improved error handling and log output in llmexport tool
- Optimized model export process to improve export stability
- Revised compression tool documentation with added HQQ quantization usage instructions
3.2.4预发布2025-09-30
3.2.2预发布2025-08-05