投稿 提交工具 投放合作

simple-evals:语言模型评测参考实现

大语言模型 4.7k(+1) 525 Python 2026-11-14 在 GitHub 打开

OpenAI 开源的轻量语言模型评测库,2025 年 7 月起不再更新,保留 HealthBench、BrowseComp、SimpleQA 参考实现。

simple-evals 是一个轻量的语言模型评测库,开源目的是对其发布模型所公布的准确率数字保持透明。README 强调评测对提示词敏感,本库采用零样本、思维链(zero-shot, chain-of-thought)设置,用「Solve the following multiple choice problem」这类简单指令,认为这更贴近模型在真实使用中的表现。仓库曾包含 MMLU、MATH、GPQA、DROP、MGSM、HumanEval、SimpleQA 等评测,并附有多家模型的成绩表。2025 年 7 月起仓库不再为新模型或新评测结果更新,仅继续托管 HealthBench、BrowseComp 和 SimpleQA 的参考实现;也不再接受新评测,可能接受的改动仅限 bug 修复、新模型适配器,以及在给定新模型与系统提示下为成绩表新增行。README 明确它不是 openai/evals 的替代品。

Star 趋势2026-11-08 — 2026-11-14当前 Stars 4.7k24h +1

4.7k11-0811-1211-14