从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 20
Visa微调Llama 3.2 1B超越表格分类模型AI热点Visa Research发布VRLLM技术报告,将Llama 3.2 1B微调为表格分类器并超越多种模型。
vLLM:Rubin NVL72推理吞吐较GB300高58倍AI热点vLLM公布DeepSeek-V4.1-Flash在Vera Rubin NVL72上的实测性能,单GPU吞吐达170万tokens/s,较GB300提升58倍。
vLLM-Omni实现H3-Image在Rubin的Day-0支持AI热点vLLM-Omni将MiniMax H3-Image带到NVIDIA Vera Rubin,四卡配置下4K生成中位延迟0.866秒,吞吐达6115张/小时。
vLLM发布EPD分离架构工程实现AI热点vLLM发文讲解编码/预填充/解码分离架构的工程实现,支持metadata-only请求与DeepSeek V4.1 Flash。
vLLM首日支持Kimi K3.1 Pro部署AI热点vLLM宣布实现Kimi K3.1 Pro首日推理部署,覆盖多硬件平台并带来显著性能提升。
vLLM Hook v1开源:编程模型内部状态AI热点vLLM Hook v1开源插件发布,可编程vLLM模型内部状态,支持探测与干预且开销小。
vLLM实现Mistral Large 4首日支持AI热点vLLM宣布对Mistral新旗舰模型Mistral Large 4提供Day 0支持,该模型为1T参数、每token激活49B的原生多模态MoE模型,采用MLA稀疏注意力、跨层KV共享等新架构,并内置DSpark推测解码草稿器与Pixtral视觉编码器。
MiniCPM-OCR 1.0原生支持vLLM与SGLangAI热点面壁智能宣布MiniCPM-OCR 1.0已原生支持vLLM和SGLang,代码合并后可直接部署。
寒武纪完成商汤Loop-9B模型Day 0适配AI热点寒武纪基于vllm_mlu完成商汤SenseNova Loop-9B的Day 0适配,打通MLU平台推理链路。
BlockLock实现可复现LLM推理,延迟降逾53%AI热点arXiv论文提出BlockLock方法,通过固定批处理几何形状保证LLM推理输出可复现,实验显示相对vLLM Batch-Invariant延迟降低53.5%至55.0%。
FlashStates发布:混合状态缓存预填充提速3.14倍AI热点Together AI、UIUC与UT Austin提出FlashStates,重新设计混合架构模型的KV与状态缓存管理,预填充吞吐最高达vLLM的3.14倍,SGLang已接入其淘汰策略。
SpecSearch发布:硬件感知投机解码提速2.01倍AI热点SpecSearch通过硬件感知搜索优化投机解码配置,在多款GPU上实现平均2.01倍自回归吞吐。
DeepSeek发布V4-Pro-0813正式版AI热点DeepSeek发布V4-Pro-0813正式版,替代预览版,增强智能体能力并加入DSpark推测解码。
MasterControl开源Runway推理验证框架AI热点MasterControl发布内部验证工具Runway,围绕NVIDIA AIPerf构建合规决策流水线,并给出三项推理引擎评测发现。
阿里开源实验模型,预览Qwen4架构AI热点通义千问开源180B实验模型Qwen3.8-Flash-Next,首秀Qwen4三项架构设计,上下文可扩至百万token。
ServerBench发布:智能体设计LLM服务系统AI热点arXiv论文提出ServerBench基准,评测编码智能体设计专用LLM服务系统的能力,Claude Sonnet 5.5表现领先。
Anthropic发布可验证推理系统FlashProveAI热点Anthropic发布基于zkSNARK的可验证推理系统FlashProve,开源代码与Lean证明。
米哈游公布游戏AI基础模型GamerAI热点米哈游公布通用视觉语言动作基础模型Gamer,可自主游玩3D和2D游戏。
蚂蚁灵波LingBot下载量破220万AI热点蚂蚁灵波携全栈开源机器人通用大脑亮相乌镇峰会,LingBot系列开源9个月下载量突破220万,并展示机器人智慧药房落地进展。
蚂蚁百灵发布Ling-3.1-flash模型AI热点蚂蚁百灵上线Ling-3.1-flash原生混合推理模型,总参数560B、激活25B,支持100万token上下文。
开源项目 39
Qwen3:开源大语言模型系列仓库开源项目Qwen3 系列大语言模型的官方仓库,提供权重、推理部署、量化与训练文档指引。查看
Open Notebook:本地优先的笔记知识库应用开源项目自托管、多模型的 NotebookLM 替代品,可导入 PDF、音视频与网页,支持全文与向量检索、带引用的对话和多说话人播客生成。查看
Qwen3-TTS:语音生成模型系列开源项目支持语音克隆、语音设计与自然语言控制的语音生成模型,覆盖10种语言,提供流式低延迟合成。查看
Surya:多语言OCR与文档版面分析模型开源项目689M参数OCR模型,支持多语言文字识别、版面分析、阅读顺序与表格转HTML,附带文本行检测和OCR错误检测小模型。查看
FunASR:工业级语音识别工具包开源项目面向离线、流式与边缘部署的语音识别工具包,涵盖ASR、VAD、标点、说话人与情感等流水线。查看
PentAGI:多智能体自主渗透测试系统开源项目PentAGI 是自托管的多智能体自主渗透测试系统,在隔离 Docker 沙箱中运行专业安全工具并产出报告。查看
transformers:多模态预训练模型推理与训练库开源项目Hugging Face 的模型定义框架,覆盖文本、视觉、音频、视频与多模态任务,提供统一的推理与训练 API。查看
Agent Lightning:用真实Agent框架做强化学习训练开源项目微软开源的轻量智能体强化学习框架,通过代理层在不改动Agent代码的情况下采集交互数据并训练策略。查看
Qwen3-ASR:语音识别与强制对齐模型开源项目支持52种语言和方言的语音识别与语种判定模型系列,另含11种语言的文本-语音强制对齐模型。查看
Confucius4-TTS:多语言零样本语音合成引擎开源项目基于语音编码器与大语言模型架构的多语言 TTS 系统,支持 14 种语言的零样本声音克隆与跨语言声音迁移。查看
MiMo-Embodied:具身智能与自动驾驶评测套件开源项目MiMo-Embodied 模型的官方评测仓库,基于 lmms-eval 扩展,覆盖具身 AI 与自动驾驶基准,仅用于评测。查看
inference-optimisation:本地LLM服务提速的Agent技能开源项目面向本地LLM服务的Agent技能,指导在任意硬件与量化配置下逐项爬坡优化解码、预填充、KV缓存、启动与首token延迟,并配套基准测试脚本。查看
Onyx:面向团队与智能体的知识上下文层开源项目Onyx 连接 50 多个应用建立知识索引,为团队和 LLM 智能体提供可自托管的检索与上下文层。查看
MOSS-TTS Family:语音与声音生成模型家族开源项目开源语音与声音生成模型家族,覆盖长篇语音、多说话人对话、音色设计、环境音效与实时流式 TTS。查看
DeepInfer:DeepSeek 大规模推理框架开源项目DeepSeek 生产服务使用的高性能推理框架开源版,支持 DeepSeek-V4.1-Flash 的离线推理。查看
MinerU:多格式文档解析工具开源项目解析 PDF、扫描件、Office、EPUB、HTML 等文档,输出 Markdown、LaTeX、DOCX 等结构化结果。查看
Open-LLM-VTuber:语音交互的 Live2D AI 伴侣开源项目支持实时语音对话与视觉感知、带 Live2D 形象的本地 AI 伴侣,可完全离线运行,提供网页与桌面宠物两种客户端。查看
neuron-explorer:Qwen3.5-4B 神经元探索器开源项目面向 Qwen3.5-4B 的神经元探索工具,逐个推拉 MLP 神经元并把结果呈现在 3D 模型视图上。查看
UniRL:统一多模态模型强化学习框架开源项目分层可组合的 RL 后训练框架,用同一套生成、打分、优势计算、策略更新流程覆盖多类多模态模型。查看