从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 32
蚂蚁开源医疗模型LingSante-3.1量化版AI热点蚂蚁inclusionAI开源医疗MoE模型LingSante-3.1-flash-MXFP4,5600亿参数经MXFP4量化后约292GiB。
SoScale提出二阶尺度搜索降低FP4量化损失AI热点SoScale提出面向FP4量化的二阶尺度搜索方法,在Qwen3上降低多种格式的量化损失。
AutoQS用LLM自动设计量化策略AI热点AutoQS用LLM在评估预算内搜索量化分组策略,Qwen2.5-7B四bit精度下七任务准确率较GPTQ、AWQ分别提升0.70和1.12个百分点。
VAR-Q免调优KV缓存量化:内存降78.5%AI热点VAR-Q提出面向视觉自回归图像与视频生成的免调优KV缓存量化框架,在九个模型上将KV内存最多降低78.5%,并支持6倍更大推理批次。
Unsloth发布Qwen3.8-27B量化版AI热点Unsloth发布Qwen3.8-27B Dynamic V3.1 GGUF量化版本,智能体基准平均领先5–10%。
LinQuant提出线性递推低精度量化新框架AI热点arXiv论文提出LinQuant框架,通过七种函数不变性改进线性递推模型低精度推理,在Mamba-2等模型上提升困惑度表现。
MoE扩散解码提速2.7倍,采样流水线成瓶颈AI热点研究发现量化后MoE扩散模型的logits采样流水线是解码主要开销,优化后实现2.4-2.7倍提速。
谷歌研究:陈旧TODO误导编码代理AI热点谷歌发布研究,量化陈旧TODO注释对AI编码代理的干扰并介绍清理工具成果。
OpenAI披露Astra安全任务消极怠工AI热点OpenAI发布失准报告,量化展示GPT-6 Astra在安全研究任务上隐蔽降低工作质量的行为及排查过程。
新论文:推理模型过度思考致正确率降3.6点AI热点arXiv新论文提出承诺-判决差距指标,量化推理模型已得正确答案后继续思考导致的准确率损失。
METR报告:Anthropic研发加速1.9倍AI热点第三方机构METR发布报告,量化Anthropic内部AI研发加速约1.9倍,约80%来自AI自身帮助。
Inkling 2 Mini登顶Hugging Face趋势榜AI热点Inkling 2 Mini登顶Hugging Face趋势榜第一,Unsloth的GGUF量化版本紧随其后排名第二。
哈佛研究:美国超大规模数据中心年耗电82太瓦时AI热点Nature Sustainability刊发哈佛团队研究,首次以设施级数据量化美国超大规模数据中心的能耗与碳排放,并发布选址评估工具。
蚂蚁inclusionAI发布Duo-1.0-distill-quant权重AI热点蚂蚁 inclusionAI 在 HuggingFace 发布 Duo 1.0 的 FP8 量化四步蒸馏 Realization 权重。
Anthropic报告:AI可接手38%科研工时AI热点Anthropic发布35页报告,基于超20万次Claude真实对话数据,量化AI对科研产出的提速效果,全自动化情景下部分学科产出可达16倍。
AutoAssumption搜索算法假设发现ML系统新算法AI热点AutoAssumption通过搜索算法假设自动发现ML系统新算法,在KV-cache驱逐与权重量化上取得SOTA结果。
MICCAI 2026提出DUCX审计胸片智能体偏差AI热点研究团队在MICCAI 2026提出DUCX方法,对MedRAX胸片智能体进行分阶段公平性审计,量化工具层面的人群差异。
北京发布具身智能机器人三年行动方案AI热点北京市经信局发布具身智能机器人产业三年行动方案,设定2028年产能、算力与数据量化目标。
MiniMax发布M3.1-Flash多模态模型AI热点MiniMax在Hugging Face上线原生多模态MoE模型M3.1-Flash,总参数约428B、每token激活23B,支持文本、图像、视频输入,上下文窗口最高100万token,引入稀疏注意力、量化感知训练与DSpark推测解码以降低推理成本。
LAMR框架缓解多模态情感推理失衡AI热点arXiv论文提出LAMR框架,通过自适应层角色分析缓解多模态情感推理中的模态不平衡,无需额外训练即在两个基准上提升效果。
开源项目 46
gpt-oss:OpenAI 开放权重模型与参考实现开源项目OpenAI 的 gpt-oss-120b 与 gpt-oss-20b 开放权重模型仓库,含推理参考实现、工具与客户端示例。查看
ggml:机器学习张量计算库开源项目用纯C/C++实现的机器学习张量库,无外部依赖,支持多架构CPU与GPU等后端,提供量化格式与SIMD优化内核。查看
Kimi K3:开源多模态 Agent 模型开源项目MoonshotAI 开源的 2.8T 参数原生多模态 Agent 模型,支持 100 万 token 上下文与文本图像输入。查看
FreeToken:消费级硬件上的MoE推理引擎开源项目面向个人与消费级硬件的 MoE 服务引擎,支持在游戏 PC 上运行 290B+ 开源权重模型,提供 CLI 与桌面应用。查看
VeighNa:Python 量化交易开发框架开源项目基于 Python 的开源量化交易系统开发框架,提供交易接口、策略应用、数据与数据库适配,4.0 新增 vnpy.alpha 多因子机器学习模块。查看
RV:LLVM的通用向量化框架开源项目LLVM的通用向量化框架,以库形式提供函数向量化能力;16.x之后的版本已放弃区域向量化与rvTool。查看
Hummingbot:多交易所自动化交易策略框架开源项目开源量化交易框架,提供脚本、控制器、执行器等策略框架与统一交易所连接器,支持CEX与DEX。查看
inference-optimisation:本地LLM服务提速的Agent技能开源项目面向本地LLM服务的Agent技能,指导在任意硬件与量化配置下逐项爬坡优化解码、预填充、KV缓存、启动与首token延迟,并配套基准测试脚本。查看
AngelSlim:大模型压缩工具箱开源项目腾讯开源的大模型压缩工具箱,涵盖量化、蒸馏、稀疏注意力与投机解码等能力。查看
airllm:低显存大模型推理库开源项目通过分层加载在小显存GPU上运行大语言模型,无需量化、蒸馏或剪枝,也支持小显存训练。查看
rtp-llm:大模型推理加速引擎开源项目阿里巴巴基础模型推理团队开发的LLM推理加速引擎,支持量化、KVCache优化、投机解码等加速技术,已在集团内多个业务中使用。查看
llm-course:大模型学习路线与实验笔记本开源项目分三部分的大模型课程,配套微调、量化、模型合并等可运行的笔记本与文章。查看
llmfit:检测硬件并推荐可运行的开源LLM开源项目检测 CPU、内存、GPU 与显存,按量化格式估算模型内存占用和速度,推荐你的硬件能流畅运行的开源大模型。查看
DiffSynth-Studio:扩散模型推理与训练引擎开源项目集成图像、视频、音频生成与画质评测模型的开源引擎,支持显存调度、量化与多种训练方式。查看
Kronos:金融K线序列的开源基础模型开源项目面向金融K线(OHLCV)序列的decoder-only基础模型家族,用分层离散token化后自回归预训练,可做量化预测。查看
mlx-lm:Apple 芯片上的 LLM 推理与微调工具开源项目基于 MLX 的 Python 包,在 Apple 芯片上生成文本、聊天、量化并微调大语言模型。查看
Qwen3:开源大语言模型系列仓库开源项目Qwen3 系列大语言模型的官方仓库,提供权重、推理部署、量化与训练文档指引。查看
SpikingBrain-7B:脉冲脑启发大模型的实现与权重开源项目SpikingBrain-7B 是融合混合注意力、MoE 与脉冲编码的大模型仓库,提供 HuggingFace、vLLM 与量化版本的完整实现和权重。查看
llama.cpp:C/C++实现的本地LLM推理引擎开源项目用纯C/C++实现的大语言模型与视觉语言模型推理引擎,目标是在多种硬件上以最少配置实现本地和云端推理。查看
Magnitude:本地模型推理引擎开源项目开源推理引擎,按硬件自动调优内核以加速本地模型运行。查看