研究团队推出了AIRoA-0，这是一套利用人们手持夹爪演示任务进行训练的机器人系统。团队表示，训练期间没有采集任何机器人数据：只有在测试时才会用到机器人。演示使用的是开源夹爪YUBI，人们可以手持它录制操作任务，无需机器人参与。
只需一条指令，AIRoA-0就能完成多种任务，例如把十几种小零件分拣到编号格子里、更换扫地机器人的拖布和刷子、拉开铅笔盒拉链，以及叠毛巾。系统只使用安装在两只手腕上的摄像头，没有俯拍整个场景的摄像头。测试是在一个未录制过任何训练数据的地点进行的。
表现如何？
在评估的10项任务中，研究作者报告的平均成功率为78%。他们将这一成绩与另外四种视觉-语言-动作模型中表现最好的模型进行比较：这些模型将视觉输入和语言指令转化为机器人动作，并使用相同的任务演示数据进行后训练，其成功率为27%。这些结果由研究团队报告；所提供的论文摘要没有说明是否经过独立评估。
AIRoA-0旨在适配多种可安装YUBI夹爪的机器人。作者列举了双臂Franka、TX-G2、OpenArm和UR作为示例。系统会学习手腕摄像头画面中哪些部分与任务相关，判断任务进行到了哪个阶段，并持续输出动作。论文称，系统既不使用强化学习，也不依靠机器人上的纠正操作。
其他人能用到什么？
团队表示，将公开演示数据集、预训练模型权重，以及将系统适配到新任务的操作流程。据作者所知，这是规模最大的开放式手持夹爪演示数据集，其中包含任务和子任务指令。作者称，只需用YUBI录制一项任务，再用一台配备八块H200 GPU的计算节点进行后训练，不到四小时即可完成。
这种做法不同于传统的机器人训练方式，后者通常需要人们直接操控机器人来收集演示数据。研究人员的思路是先录制人手动作，再在测试时将学到的行为迁移到机器人上。论文结果仅涵盖评估过的10项任务，并不能证明系统在这些测试之外的任务或环境中表现如何。
为什么重要
对于机器人研究人员和开发者而言，这种方法有望让人们通过录制手部动作来教机器人，而不必直接在机器人上采集演示数据。作者报告称，系统在10项任务中表现出色，但它在其他任务中的表现如何、结果能否得到独立验证，目前仍不清楚。
