Tracely:Agent 追踪转回归测试的 CI 工具
NEW把生产环境失败的 Agent 追踪冻结为可回放回归用例,并在 CI 中拦截问题 PR。
Tracely 面向 AI Agent 的 CI/CD:通过 OTLP 接收生产追踪,将 agent.id、conversation.id、turn、step 等语义提升为索引列,按会话分组展示层级瀑布;在线评估器(LLM 评审与结构检查)在会话、运行、span 层级打分,失败会聚类为 issue。失败追踪可一键冻结为封闭式回归用例,录制输入与工具/LLM 输出作为 fixture,并附带 fail-to-pass 契约;多轮行为可用脚本化场景或红队模型即兴对抗。CI 中 `tracely gate` 离线回放 fixture,不调用模型、不需 API key,失败时以非零退出、写 commit status 并更新 PR 评论。告警规则由触发条件与画布上的动作流组成,支持 Slack、邮件、自定义 webhook、LLM 步骤与 Python 表达式。另提供趋势分析、跨指标相关性与评审校准界面。整套系统可一键自托管(API、worker、UI、Postgres、ClickHouse、Redis、MinIO)。