英伟达宣布推出一款名为 GR00T 2 的新 AI 模型。该系统观看人类执行任务的第一人称视频后，会同时预测机器人将看到什么，以及应该如何移动。在实验室测试中，一台配有五指手部的机器人无需针对这些任务接受直接远程操控，就能划火柴、切香蕉或投递包裹。
英伟达将 GR00T 2 称为世界动作模型（WAM）。与前代 GR00T 1 不同，它不需要将语言指令与图像配对输入，而是使用扩散 Transformer，同时预测下一帧视频和相应的电机指令，对未来的视频画面和动作进行去噪处理。
模型如何学习
该模型使用海量数据集训练，其中包括约 400,000 小时的头戴式人类工作视频、10,184 小时的手持式 UMI 夹爪演示，以及 23,500 小时的机器人远程操控数据。英伟达表示，人类视频占数据集的大部分；增加人类视频数据量，可将机器人在真实环境中的任务成功率从 50 % 提高到 70 %。
当新机器人需要学习一项任务时，人类可以佩戴数据手套或手指外骨骼来演示步骤。系统会在视频预测中用机器人的手臂替换人类手臂，并提取相应的控制指令。英伟达称，只需几次演示，经过不到三分钟的常规训练后，成功率就能从 40 % 提高到 95 %。
表现与局限
在受控实验中，机器人仅凭一段人类视频就成功敲入钉子；配合 GPT‑6 Astra 等更高层级的语言模型时，玩具车组装任务在 97 % 的试验中成功。若不使用语言模型，成功率则降至 23 %。对于双足机器人，精简版 GR00T 2 Turbo 可在 Jetson Thor 机载计算机上运行，每次预测耗时 124 ms，能够完成舀爆米花、清理桌面和擦拭液体等任务；不过，擦拭液体的成功率不到一半。
英伟达指出，该模型仍面临多项难题：目前无法使用直接触觉传感器，有时会漏掉细微错误；此外，语言模型每个规划步骤会额外增加约七秒延迟，导致机器人在垃圾分类测试中约三分之一的时间处于闲置状态。
为什么重要
对制造商而言，这款模型有望减少为机器人手臂编写新任务程序所需的时间和成本，因为机器人可能只需一次人类示范就能学会。不过，目前仍需借助外部语言模型，而且缺少触觉感知能力，因此机器人还无法胜任要求高度可靠的生产线工作。
