NVIDIA论文:LLM推理缓存为CPU代码,成本降291倍
NVIDIA提出CPU-ARC方法,让Claude Opus 4.5把推理轨迹转成带参数的Python函数,运行时在CPU上执行,仅用微调1B模型处理小文本任务。该缓存在8项数理基准中7项持平或超越原模型,AIME '25得分93.3%对83.3%,对改写或重编号变体处理率至少90%,成本降低16至291倍。
NVIDIA提出CPU-ARC方法,让Claude Opus 4.5把推理轨迹转成带参数的Python函数,运行时在CPU上执行,仅用微调1B模型处理小文本任务。该缓存在8项数理基准中7项持平或超越原模型,AIME '25得分93.3%对83.3%,对改写或重编号变体处理率至少90%,成本降低16至291倍。
哥伦比亚大学与MIT论文展示Claude发现的算法在3SUM与APSP上取得多项式改进,推翻长期速度上限假设。
技术研究 · 2026-11-220 阅读亚马逊云科技推出原生PyTorch后端TorchNeuron,现有代码几乎无需修改即可在Trainium芯片上运行。
模型进展 · 2026-11-220 阅读安全研究员实测发现OpenRouter存留用户会话并被第三方访问,OpenRouter已撤下MiniMax端点的零数据留存标签。
行业动态 · 2026-11-221 阅读Anthropic工程博客介绍将MCP工具定义转为本地代码按需读取,示例中工具上下文从约15万token降至约2000token,成本与耗时降低98.7%。
产品应用 · 2026-11-220 阅读AI编程初创公司Cognition正寻求以750亿美元估值融资20亿美元,谈判进行中。
融资并购 · 2026-11-220 阅读Lean与Mathlib社区联合声明,确认Levent Alpöge的黎曼猜想Lean证明通过核验,代码约1700万行。
行业动态 · 2026-11-220 阅读Together AI披露其无服务器推理服务在2026年6-7月发生提示词泄露事件,非授权方因凭据在公开代码库暴露而下载了部分提示词样本,公司已加强管控并将ZDR设为新账户默认。
行业动态 · 2026-11-220 阅读特斯拉在美国推出FSD v15,向早期体验计划成员推送首批版本,安全关键场景处理能力提升25倍,并新增Tesla Reality View可视化界面。
行业动态 · 2026-11-220 阅读Replit发布代码优化基准Optimization-Bench预发布版,研究显示32个Claude Opus智能体在NumPy任务上两小时提速18.9倍,远超单智能体的3.7倍。
产品应用 · 2026-11-220 阅读NVIDIA通过FP8内核测试稀疏注意力设计旋钮,总结八条生产级优化指南,降低长上下文推理预填充开销。
产品应用 · 2026-11-220 阅读GPT-6.2 Astra (Max)在Agent Arena Index升至第6,编码项从第8升至第3,聊天项则从第8降至第11。
产品应用 · 2026-11-220 阅读群联在SC26展示内置NPU与64GB内存的企业级SSD,可直接运行PyTorch等AI框架,数据传输量有望减少10-100倍。
技术研究 · 2026-11-220 阅读国家数据局拟加强AI token计量、计费与质量评估标准,并提及“token工厂”新兴业态。
行业动态 · 2026-11-221 阅读OpenRouter因推理提供商数据政策违规下架三家服务商,并从零数据保留资格中移除125个端点。
行业动态 · 2026-11-221 阅读Amazon接近以约75亿美元收购AI创业公司Decart,较其最新40亿美元估值近乎翻倍。
融资并购 · 2026-11-220 阅读Pi Bot推出开源版,可在本地电脑运行AI团队协作,支持聊天、文件操作与权限控制,兼容多平台。
行业动态 · 2026-11-211 阅读Stripe推出Stripe evals,用69个真实场景评测14组编码智能体的支付集成表现,并公布agent插件带来的提升数据。
产品应用 · 2026-11-210 阅读韩媒爆料三星2027至2029年大部分存储芯片产能已被合同预订,部分客户要求供货保障延长至2031年,当前供货满足率仅60%至70%。
产品应用 · 2026-11-210 阅读OpenAI为GPT-6.2 Astra和Sol公布可直接复制的提示词模板,覆盖写作风格、主动性与编码,并建议迁移开发者重新审视系统提示词。
模型进展 · 2026-11-210 阅读Deedglass开源发布,核验AI代理在Postgres中的实际数据变更,可发现代理报告与真实变更的差异并支持人工复核后撤销。
产品应用 · 2026-11-210 阅读