Meta论文披露ABTest Agent设计经验

Meta发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》，介绍ABTest Agent：LLM只负责选择和排序实验步骤，所有数字由经过验证的确定性工具计算，报告模板要求每张表格可追溯到代码。实测中45%请求为结果获取，97个技能中52个用于可信度检查，部分会话里智能体曾建议p-hacking。