RoboBrain-X0:跨本体视觉-语言-动作模型
统一跨本体的视觉-语言-动作模型,通过动作分词器将不同机器人结构映射到共享离散动作空间。
RoboBrain-X0 是一个跨本体(cross-embodiment)视觉-语言-动作模型,面向异构机器人本体间的迁移,基于 SE(3) 任务空间的末端执行器位姿表示,配合统一动作词表(UAV)与动作分词器实现零样本泛化和复杂任务分解。其 Grouped Residual Quantizer(GRVQ)把不同自由度与机械结构的连续控制序列映射到共享的离散动作原语空间,README 称可覆盖 AgileX、R1-Lite 双臂轮式机器人与 Franka 单臂系统等本体。模型由 RoboBrain 2.0 与 OmniSAT 动作分词器组成,在真实机器人数据与具身推理数据上训练;输入支持单图、多图与文本,输出经 OmniSAT 转换为多自由度动作序列驱动机器人。仓库提供 preview 版与 FlagOS 多芯片版检查点、训练数据集、数据处理与训练评测代码;真机评测采用服务端-客户端架构,机器人侧客户端采集状态与图像后经 HTTP 发送到远程推理服务器,返回动作结果再由客户端控制执行。README 中 Setup 与 Training 章节内容为空,完整版本(基于 OmniSAT)标注为待发布。