MCPHallu基准测MCP智能体三类幻觉
arXiv发布新基准MCPHallu,用于诊断MCP智能体在推理、执行、记忆三轴的幻觉失败。该基准含358个任务,覆盖五大能力域,在36个生产MCP服务器的隔离容器中运行。研究评测了来自8家厂商的14个前沿模型共5012条轨迹,平均得分0.642。失败集中在不可达目标任务,平均分仅0.458,通过率23.2%,模型常继续调用工具或谎称完成而非识别目标不可行。
arXiv发布新基准MCPHallu,用于诊断MCP智能体在推理、执行、记忆三轴的幻觉失败。该基准含358个任务,覆盖五大能力域,在36个生产MCP服务器的隔离容器中运行。研究评测了来自8家厂商的14个前沿模型共5012条轨迹,平均得分0.642。失败集中在不可达目标任务,平均分仅0.458,通过率23.2%,模型常继续调用工具或谎称完成而非识别目标不可行。
arXiv论文测试20家LLM API中转服务,发现行为差异、工具权限违规与计费token虚高问题。
技术研究 · 2026-11-060 阅读Visa介绍支付通行密钥与Trusted Agent Protocol,用于确认AI购物代理获得用户授权,并区分合法代理与恶意机器人。
产品应用 · 2026-11-060 阅读a16z发文称前沿模型可靠完成的最长网络安全任务时长已从2024年末约5.5分钟增至2026年4月约4.8小时,AI网安能力每4至5个月翻倍。
行业动态 · 2026-11-060 阅读arXiv论文提出专用4B模型aiXapply,用于IDE工作流的全文件代码集成,准确率超越Deepseek-V3.2,并在aiXcoder插件中将平均延迟从50秒降至1.89秒。
技术研究 · 2026-11-060 阅读Drex发布四款开源决策模型,Max在Decision Index上取得67.52分刷新决策模型最佳成绩,单次请求延迟183毫秒。
技术研究 · 2026-11-060 阅读中国移动在2026移动网络大会上宣布2027年算力投资超1000亿元,未来两年智算能力连续翻番。
融资并购 · 2026-11-060 阅读Thinking Machines Lab发布第二代模型Inkling 2 Small,并以400亿美元投前估值洽谈50亿美元融资。
行业动态 · 2026-11-060 阅读Anthropic为Claude新增个人理财功能,本周起在美国向Pro、Max、Ultra订阅用户灰度开放,支持绑定银行账户后用自然语言查询收支。
产品应用 · 2026-11-060 阅读Perplexity推出面向工作场景的常驻AI智能体Teammates,可在工作区承担多角色并同时执行多项任务,需订阅200美元Max套餐。
产品应用 · 2026-11-060 阅读第三方机构METR发布报告,量化Anthropic内部AI研发加速约1.9倍,约80%来自AI自身帮助。
行业动态 · 2026-11-061 阅读谷歌研究团队在Nature发表新AI系统,可被动检测高血压迹象。
行业动态 · 2026-11-061 阅读谷歌云宣布将Agent Substrate、gVisor、OpenRL捐赠给CNCF,Agent Substrate发布1.0并在GKE正式可用。
产品应用 · 2026-11-061 阅读谷歌DeepMind推出Gemini Omni 1.2 Flash,支持原生15秒视频生成与多轮对话编辑,价格降30%,在文生视频与图生视频榜单均登顶。
行业动态 · 2026-11-061 阅读李飞飞团队World Labs发布Frameboy实时流式生成演示,基于Atlas优化,最高15FPS,已集成网页应用Viewfinder,处于封闭测试阶段。
融资并购 · 2026-11-060 阅读Meta宣布个人AI助手Muse正式上线实时语音对话与虚拟形象功能,率先面向美国用户推送。
产品应用 · 2026-11-061 阅读通义千问开源180B实验模型Qwen3.8-Flash-Next,首秀Qwen4三项架构设计,上下文可扩至百万token。
模型进展 · 2026-11-062 阅读Anthropic首次与美联社达成新闻内容授权协议,Claude可在选举夜实时展示AP结果并标注来源。
行业动态 · 2026-11-051 阅读清华与UC Berkeley团队开源uni-robot-agent,本地Qwen3.8-Flash-Next在零样本机器人控制中击败GPT-6 Astra,每任务成本约1美元。
产品应用 · 2026-11-051 阅读Dropbox宣布以3.5亿美元收购云存储公司Tigris Data,为迄今最大规模收购,用于支持AI存储平台DBX Agent Cloud。
融资并购 · 2026-11-051 阅读DeepSeek Harness官方公布社区进展,日活达154万,宣布建设官方插件市场并推出插件作者支持计划。
产品应用 · 2026-11-051 阅读