Opik：开源LLM可观测与评估平台
Apache-2.0 开源的 LLM 可观测性与评估平台，覆盖 agent 追踪、评测、提示词管理与生产监控。
Opik 覆盖 LLM 应用从开发到生产的完整生命周期：用 @track 装饰器记录 LLM 调用与多步 agent 的完整 trace 树，支持对 trace 和 span 打分标注；提供数据集、实验和 LLM-as-a-judge 指标（幻觉检测、内容审核、RAG 评估等），并有 PyTest 集成把评测接入 CI/CD。生产侧可记录大规模 trace、用在线评估规则发现问题，另有 Agent Optimizer 优化提示词与 agent、Guardrails 做安全防护。仓库包含后端、Web 应用等完整平台组件，可免费自托管，数据不出环境；也提供云服务和 MCP 接入，让 Claude Code、Cursor 等编码 agent 读取 trace、打分和运行评测。