投稿 提交工具 投放合作

DeepEval:LLM 应用评估框架

大语言模型 19.5k(+21) 2.2k Python 2026-11-17 访问官网 ↗ 在 GitHub 打开

类似 Pytest 的 LLM 评估框架,用本地运行的 LLM-as-a-judge 等指标测试 Agent、RAG 与多轮对话系统。

DeepEval 是一个开源 LLM 评估框架,定位类似 Pytest 但专用于对 LLM 应用做单元测试,指标包括 G-Eval、任务完成度、答案相关性、幻觉等,采用 LLM-as-a-judge 及其他在本机运行的 NLP 模型。它可对 AI agent、语音 agent、多轮聊天机器人、RAG 等系统做端到端黑盒评估,也可评估完整的 agent 轨迹或单个步骤(LLM 调用、工具使用、检索、子 agent 交接)。指标覆盖多类场景:Agent 指标(任务完成、工具正确性、目标准确度、步骤效率、计划遵循与质量、参数正确性)、语音 agent 指标(响应性、轮次自然度、语音自然度、转写准确度、音频瑕疵)、多轮指标(知识保持、对话完整性、轮次相关性与忠实度、角色遵循)、RAG 指标(答案相关性、忠实度、上下文召回/精确/相关性、RAGAS)、MCP 指标、多模态指标,以及幻觉、摘要、偏见、毒性、JSON 正确性、提示对齐等通用指标。另支持自定义指标、生成单轮与多轮合成数据集、对语音 agent 模拟实时通话、接入 CI/CD、根据评估结果自动优化提示词,以及对任意 LLM 做基准测试。

Star 趋势2026-11-08 — 2026-11-17当前 Stars 20k24h +217 日 +161

19k20k11-0811-1111-1211-1311-1411-1511-1611-17