从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 178
南大发布TestPrism基准:AI测试通过率被高估AI热点南京大学团队提出测试生成Benchmark TestPrism,发现前沿Coding Agent在单一参考评测下成功率59.67%,但联合成功指标仅28.00%,并提出TestHelix框架提升表现。
Anthropic发布多智能体基准MAMUBenchAI热点Anthropic发布MAMUBench基准,测试显示单一协调智能体在四类多用户环境中均优于各用户自建智能体团队。
OpenRouter发布LLM基准测试教程AI热点OpenRouter发布教程,讲解如何用应用真实输入与输出契约评测LLM,并公布60个合成任务的实测结果与榜单相关性分析。
谷歌联合推出MKA多模态智能体基准AI热点谷歌DeepMind联合Artificial Analysis发布MKA基准,评测智能体处理视觉复杂文件的知识工作能力,Gemini 4 Carbon质量排名第二、成本约为第一名六分之一。
NarrativeBench基准评测14个LLM叙事导航能力AI热点arXiv提交新基准NarrativeBench,评测14个LLM在23种语言下的多元叙事导航能力,发现现有模型普遍不足。
MemoryDojo基准评测智能体记忆投毒AI热点MemoryDojo基准通过155条多会话轨迹评测五种LLM智能体记忆系统在投毒攻击下的安全性,发现所有系统均易受影响。
ImplicitBBQ基准揭示LLM隐性偏见AI热点新基准ImplicitBBQ通过特征线索评测11个大模型的隐性偏见,发现开放权重模型隐性偏见超显性6倍,种姓维度最严重,并开源代码与数据集。
清华与Moonshot发布TCSExam基准AI热点清华与Moonshot AI等发布TCSExam基准,用100项专家评审任务测试模型定理证明与公开猜想求解能力。
Amazon审计9个AI基准发现评分错误AI热点Amazon新论文审计9个专业领域AI基准,发现参考答案与评分代码常误判正确回答,修复后模型得分显著提升。
XStack基准发布:测智能体跨生态迁移代码AI热点研究人员发布XStack基准,评测AI智能体将PyTorch仓库迁移至JAX/TPU的能力,Claude Opus 5通过率75%居首。
MCPHallu基准测MCP智能体三类幻觉AI热点新基准MCPHallu评测MCP智能体在推理、执行、记忆三轴的幻觉失败,覆盖358任务与14个前沿模型。
FinDendro基准测LLM时间自知识AI热点arXiv新论文提出FinDendro基准,用2226条带日期事实测试大模型时间自知识,发现自述会低估模型知识,回测无法靠自述证明无泄漏。
清华发布BEMULA基准测Agent遗忘能力AI热点清华大学联合新浪微博提出BEMULA基准,评测LLM Agent的记忆遗忘能力,结果显示所有被测配置端到端通过率均不超过1.5%。
OpenAI发布LifeVal日常任务基准AI热点OpenAI发布LifeVal基准,测试AI完成日常事务能力,GPT-6 Astra得分80.6%。
多校发布RoboRisk基准与LEASH护栏,大模型机械臂伤害率大降AI热点西交利物浦大学等多校联合提出机器人安全基准RoboRisk与安全护栏LEASH,评测显示六个前沿大模型伤害率在9.06%至76.92%之间,加入LEASH后四个模型真机任务零伤害。
LM-SimBench发布LLM训练模拟基准AI热点LM-SimBench提供评估LLM训练模拟器的统一框架、数据集与基准,含348个可行配置并验证GPU-NPU跨平台适用性。
OpenAI发布湿实验基准BioBasicsBenchAI热点OpenAI联合Ligo推出BioBasicsBench,含100项湿实验任务,评测AI智能体解析原始实验数据能力,GPT-6 Astra得分66.7%。
论文审计九个政策决策基准,提出BAR修订框架AI热点研究审计九个政策决策基准,发现评分器与参考答案错误,并提出BAR修订框架,修正后模型接受率显著提升。
谷歌发布T2J-Bench迁移评测基准AI热点谷歌团队发布T2J-Bench,用63个整仓任务评测PyTorch到JAX迁移,TwinHarness将得分提升11.4%。
多模态推理新基准ReGap-Bench发布AI热点arXiv论文提出ReGap-Bench,任务匹配的视觉参考可将多模态推理准确率提升至多25%