从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 20
Visa微调Llama 3.2 1B超越表格分类模型AI热点Visa Research发布VRLLM技术报告,将Llama 3.2 1B微调为表格分类器并超越多种模型。
vLLM:Rubin NVL72推理吞吐较GB300高58倍AI热点vLLM公布DeepSeek-V4.1-Flash在Vera Rubin NVL72上的实测性能,单GPU吞吐达170万tokens/s,较GB300提升58倍。
vLLM-Omni实现H3-Image在Rubin的Day-0支持AI热点vLLM-Omni将MiniMax H3-Image带到NVIDIA Vera Rubin,四卡配置下4K生成中位延迟0.866秒,吞吐达6115张/小时。
vLLM发布EPD分离架构工程实现AI热点vLLM发文讲解编码/预填充/解码分离架构的工程实现,支持metadata-only请求与DeepSeek V4.1 Flash。
vLLM首日支持Kimi K3.1 Pro部署AI热点vLLM宣布实现Kimi K3.1 Pro首日推理部署,覆盖多硬件平台并带来显著性能提升。
vLLM Hook v1开源:编程模型内部状态AI热点vLLM Hook v1开源插件发布,可编程vLLM模型内部状态,支持探测与干预且开销小。
vLLM实现Mistral Large 4首日支持AI热点vLLM宣布对Mistral新旗舰模型Mistral Large 4提供Day 0支持,该模型为1T参数、每token激活49B的原生多模态MoE模型,采用MLA稀疏注意力、跨层KV共享等新架构,并内置DSpark推测解码草稿器与Pixtral视觉编码器。
MiniCPM-OCR 1.0原生支持vLLM与SGLangAI热点面壁智能宣布MiniCPM-OCR 1.0已原生支持vLLM和SGLang,代码合并后可直接部署。
寒武纪完成商汤Loop-9B模型Day 0适配AI热点寒武纪基于vllm_mlu完成商汤SenseNova Loop-9B的Day 0适配,打通MLU平台推理链路。
BlockLock实现可复现LLM推理,延迟降逾53%AI热点arXiv论文提出BlockLock方法,通过固定批处理几何形状保证LLM推理输出可复现,实验显示相对vLLM Batch-Invariant延迟降低53.5%至55.0%。
FlashStates发布:混合状态缓存预填充提速3.14倍AI热点Together AI、UIUC与UT Austin提出FlashStates,重新设计混合架构模型的KV与状态缓存管理,预填充吞吐最高达vLLM的3.14倍,SGLang已接入其淘汰策略。
SpecSearch发布:硬件感知投机解码提速2.01倍AI热点SpecSearch通过硬件感知搜索优化投机解码配置,在多款GPU上实现平均2.01倍自回归吞吐。
DeepSeek发布V4-Pro-0813正式版AI热点DeepSeek发布V4-Pro-0813正式版,替代预览版,增强智能体能力并加入DSpark推测解码。
MasterControl开源Runway推理验证框架AI热点MasterControl发布内部验证工具Runway,围绕NVIDIA AIPerf构建合规决策流水线,并给出三项推理引擎评测发现。
阿里开源实验模型,预览Qwen4架构AI热点通义千问开源180B实验模型Qwen3.8-Flash-Next,首秀Qwen4三项架构设计,上下文可扩至百万token。
ServerBench发布:智能体设计LLM服务系统AI热点arXiv论文提出ServerBench基准,评测编码智能体设计专用LLM服务系统的能力,Claude Sonnet 5.5表现领先。
Anthropic发布可验证推理系统FlashProveAI热点Anthropic发布基于zkSNARK的可验证推理系统FlashProve,开源代码与Lean证明。
米哈游公布游戏AI基础模型GamerAI热点米哈游公布通用视觉语言动作基础模型Gamer,可自主游玩3D和2D游戏。
蚂蚁灵波LingBot下载量破220万AI热点蚂蚁灵波携全栈开源机器人通用大脑亮相乌镇峰会,LingBot系列开源9个月下载量突破220万,并展示机器人智慧药房落地进展。
蚂蚁百灵发布Ling-3.1-flash模型AI热点蚂蚁百灵上线Ling-3.1-flash原生混合推理模型,总参数560B、激活25B,支持100万token上下文。