VitaBench:LLM智能体交互任务评测基准
评测LLM智能体在真实生活服务场景中多轮交互与工具调用能力的基准,含代码库、数据集与评测流程。
VitaBench 是一个面向 LLM 智能体的评测基准,围绕外卖、到店消费和在线旅行三类真实生活服务场景构建模拟环境,共包含 66 个工具。任务由多个真实用户请求衍生,要求智能体在多轮对话中进行时空维度推理、组合使用复杂工具集、主动澄清模糊指令并跟踪变化的用户意图。基准包含 100 个跨场景任务(主结果)和 300 个单场景任务,跨场景评测可通过逗号连接域名自动合并多个领域的环境。评测采用基于评分标准的滑动窗口评估器(rubric-based sliding window evaluator),以应对复杂环境和随机交互下的多样化解法路径。仓库提供代码库、数据集和评测流程,安装后可用 `vita` 命令运行评测,模型配置通过 `models.yaml` 管理,结果保存在 `data/simulations/`,也支持对已有模拟结果重新评测。论文被 ICLR 2026 接收,另提供英文版数据集。