投稿 提交工具 投放合作

SkillEvaluator:Agent技能质量与效果评估框架

数据分析 2.7k(+1k) 392 Python 2026-11-17 访问官网 ↗ 在 GitHub 打开

分三层检查AI Agent技能:静态质量与安全校验、语义重复检测,以及在沙箱中对比有无技能时的Agent实际表现。

SkillEvaluator用于检查符合Agent Skills规范的技能文件夹,并衡量技能对任务结果的影响,是NVIDIA Verified Skills流水线的一部分。它提供统一CLI,可本地运行、接入CI或作为技能交给Agent调用。三层相互独立:Tier 1做静态校验,检查技能是否安全、格式良好、与运行框架兼容,可配合SkillSpector、Gitleaks等扫描器,也支持不调用LLM的确定性评分;Tier 2用嵌入检测技能内部或技能之间的指引重复与重叠;Tier 3在沙箱(默认Docker)中运行受支持的Agent,对比有无技能时的表现,由Harbor提供沙箱运行支持。三层可组合为完整流水线,各层可单独作为门槛。生成评测用例需要实质性的EVAL.md指引、--prompt文件或保留的执行轨迹。项目自述支持级别为Experimental,社区尽力支持。

Star 趋势2026-11-15 — 2026-11-17当前 Stars 2.9k24h +1k

1.4k2.1k2.9k11-1511-1611-17