MiMo-Embodied:具身智能与自动驾驶评测套件
MiMo-Embodied 模型的官方评测仓库,基于 lmms-eval 扩展,覆盖具身 AI 与自动驾驶基准,仅用于评测。
MiMo-Embodied 是 MiMo-Embodied 跨领域视觉语言模型的官方评测套件,基于 lmms-eval 框架扩展,加入 MiMo 模型集成、基准支持与评测流程;仓库仅用于评测,不包含训练代码。评测覆盖具身 AI(可供性预测、任务规划、空间理解)与自动驾驶(环境感知、状态预测、驾驶规划、驾驶知识问答)两类任务,具身侧列出 17 个基准、驾驶侧 12 个基准,另提及 8 个通用视觉理解基准。模型接入通过定制的 mivllm 包装类实现,相比默认 VLLM 实现改进了数据加载效率、图像与视频预处理控制,并支持 max_model_len、gpu_memory_utilization、max_num_seqs 等推理参数。支持单卡、多卡、多节点分布式与批量评测,部分基准需在任务 YAML 中手动填写本地 img_root 路径;部分任务按 no-think 模式评测。README 建议的推荐硬件为单张 A100(80GB)或 H20。