MLX LM

大语言模型 7.6k 1.2k Python 上架 2026-11-09 在 GitHub 打开

MLX LM 是一个 Python 包，用于使用 MLX 在 Apple 芯片上生成文本和微调大型语言模型。一些主要功能包括：与 Hugging Face Hub 集成，只需一个命令即可轻松使用数...

#LLM（大语言模型）

项目信息

所有者: ml-explore
Star: 7.6k
Fork: 1.2k
开源协议: —
主要语言: Python
发布时间: 2025-03-11
最近更新: 2026-10-30

项目更新

v0.32.22026-10-16
v0.32.2 是一个小版本修补，主要三处改动：修正了 MiMo-V2-Flash 模型中注意力值的缩放错误，此前该模型的输出质量可能受影响；修复了 SMM 实现中的掩码问题；另外统一了 Muse spark 在 HuggingFace 上的命名。如果你在用这几个模型，建议升级。
v0.32.12026-10-15
这次更新只有一处修复：修正了 muse 模板（对应 PR #1977）。此前该模板在实际使用中存在配置或渲染问题，会导致基于 muse 架构的模型无法正常加载或生成；修复后按模板调用即可恢复正常。对于不使用该模板的用户而言，本次版本没有其他变化，可按需升级。
v0.32.02026-10-15
mlx-lm 这版修了一批推理与解析上的坑：MiniCPM3、Phixtral 批处理现在会正确处理左侧 padding 掩码，phi3small 的掩码轴、phimoe 的 sparsemixer 也一并修正；PhiMoE 在 ropescaling 为空时不再报错，MiniMax M3 长文本生成崩溃、GraniteMoeHybrid 批量 logprobs 异常均已解决。工具调用解析方面，修复了 toolcalls[].function.arguments 顶层类型缺失（Qwen3 Coder 等场景）时的错误假设，并新增 MiniCPM5 解析器；服务端则不再接受 maxtokens: 0 后又在生成阶段拒绝。量化上为 nvfp4 量化的 MoE 加入全局缩放，另新增 2-bit Hadamard 旋转的 prismhadamard_qwen35。此外支持未转换模型，qwen 3.5 引入并行注意力头，并加入 meta-models/Muse-Spark-Open-816B-A42B-NVFP4。
v0.31.32026-04-22
mlx-lm v0.31.3：以修 bug 为主的维护版本，配合 MLX v0.31.2 的线程本地生成流（thread local generation stream）。修的问题集中在两块：一是 KV 缓存的批量维度不匹配，BatchKVCache、BatchRotatingKVCache 与 ArraysCache 的 extend() 都有涉及；二是工具调用链路——服务端的并行工具调用、MiniMax M2 并行调用、Gemma4 工具解析器（函数名带连字符、字符串参数含大括号）以及 Mistral 的空 toolcallend 均已修复。另有 Gemma 4 KV 共享层多余投影、Apertus tiewordembeddings、TokenzierWrapper 中 think token 的 None 检查等零散修复。对使用者而言，跑批量推理和接工具调用的场景收益最直接，此前踩到的几处崩溃与解析失败应当消除。
v0.31.22026-04-07
mlx-lm 这版更新集中在两块：批量生成与缓存。BatchGenerator 重构后重新带回 max-kv-size，logits processor 的 token 约定也已对齐，并支持在 batch_generate 中注入处理器；LRUPromptCache 同步重构，新增对不可截断缓存的系统提示与用户消息缓存，顺带修复了延迟绑定导致的缓存检查点错误、PromptTrie 前缀裁剪的 off-by-one，以及 GatedDeltaNet 缓存共享内存泄漏。模型侧新增 Gemma 4（含工具调用解析与量化逐层投影加载修复）和 Nemotron super 支持，修复 Nemotron-H 的 SSM dt 默认截断值，并补上 presence/frequency 惩罚。服务端新增 --allowed-origins，可处理缺失的 content-length 头；投机解码的输出损坏问题也已修复。另修复了 CompletionsDataset 崩溃、qwen3.5 缓存推进缺失，min-p 采样改用 max 替代 argsort，性能更省。
v0.31.02026-03-07
mlx-lm v0.31.0 更新：缓存管理是这版的重点——多处修复 CacheList 的存取与序列化问题，优化了缓存容量上限，批量生成和分段 prompt 处理时会主动清空缓存以控制显存占用，server 端的缓存策略也整体改进。模型支持方面，新增 JoyAI LLM Flash，并为 Qwen 3.5 加入张量并行；mistral、qwen3 MoE 补上了 tiewordembeddings 模块化支持，LFM2 允许读取嵌套的 RoPE 参数，step3p5 的滑动注意力层改用旋转缓存。修复了 qwen3.5 强制转 fp32、MLA 模型混合量化判定、MiniMax M2.5 分片 RMS Norm 以及 convert() 量化模式默认值错误等问题，归一化不再意外提升到 fp32。另外新增 --trust-remote-code（perplexity）与 --prefill-step-size（速度与显存折中），server 的 JSON 响应新增 usage.prompttokensdetails.cached_tokens 字段。
v0.30.72026-02-12
mlx-lm v0.30.7 更新：新增对 GLM5 与 qwen3.5 系列（暂不含视觉）模型的支持，并补上了 LongCat 的 MLA 实现。模型调用层面，LFM2 模型现在支持更 Pythonic 的工具调用写法，同时加入了 Mistral 工具解析器。针对 DeepSeek V3.2，本次修复了 indexer 与权重加载问题，并优化了生成速度。此外，训练流程中的验证集改为可选，方便只想快速跑通训练的用户；Kimi Linear 的问题也一并修复。
v0.30.62026-02-04
mlx-lm v0.30.6：新增对 Transformers v5 的支持，并加入 LongCat Flash、LongCat Flash Lite、Kimi-K2.5、Step 3.5 Flash 等模型；服务端支持分布式推理，新增 chattemplatekwargs 与 toplogprobs 参数，同时放开了自定义模型的加载。批处理模式下默认改用 BatchRotatingKVCache，滑动窗口掩码在生成阶段的错误也已修正。此外还修复了 NemotronH 配置与 HuggingFace 格式不兼容、MultiLinear.toquantized() 缺少 mode 参数、混合量化、批处理 mamba、GLM 4.7 工具调用回退、Deepseek V3.2 实现及相关模型转换等问题，CLI 相关缺陷一并处理。
v0.30.52026-01-25
mlx-lm v0.30.5 上线：新增 TeleChat3 模型支持与 kimi 工具调用解析，Apertus 的 Xielu 激活函数挪进 activations.py，glm4moelite 改为把 KV latent 存进缓存。推理侧，服务端的 finishreason 现已对齐 OpenAI 格式，激活量化下也可用 qq 算子。几处修复同样重要：批量生成时 logprobs 用错了变量、分布式对话的随机种子未跨 rank 同步、ArraysCache.fromstate 恢复状态时漏掉 left_padding 和 lengths。此外补了 logging 导入，避免真正的报错被静默吞掉，并升级了 transformers 依赖。
v0.30.42026-01-19
mlx-lm v0.30.4 把重点放在批量生成的稳定性上：修复滑动窗口批处理、CacheList 批处理、空缓存合并，以及 IQuestLoopCoder、nemotron-h 的 MambaCache 等一批问题，缓存列表现在也能参与批处理，分批推理明显更可靠。同时新增 AWQ/GPTQ 权重转换工具、连续批处理的服务器基准测试，并适配最新版 mlx；分词器报错改为 warning 提示，不再直接抛异常。模型方面新增 Nemotron Super 49b v1.5 和 glm4 moe lite，为 gpt-oss、minimax、LongCat Flash 加入张量分片，修复 LongCat Flash 扩展上下文，以及 falcon_h1 的 tied embeddings 与 muP 缩放；Swiglu 换成编译版本并修正参数顺序。