Nvidiaは新たなAIモデル「GR00T 2」を発表した。このシステムは、人が作業する様子を一人称視点で撮影した動画を見て、ロボットが次に何を見るか、どう動くべきかの両方を予測する。実験室でのテストでは、5本指の手を備えたロボットが、対象の作業を直接遠隔操作されることなく、マッチに火をつけたり、バナナを切ったり、荷物を投げたりできた。
NvidiaはGR00T 2をワールド・アクション・モデル（WAM）と説明している。前身のGR00T 1とは異なり、画像と組み合わせた言語指示を必要としない。代わりに、拡散トランスフォーマーを使って未来の映像と動作のノイズを取り除き、次の映像フレームと対応するモーター指令を同時に予測する。
モデルの学習方法
このモデルは、人が作業する様子をヘッドマウントカメラで撮影した約400,000時間分の動画、手持ち式UMIグリッパーを使った10,184時間分の実演、ロボットの23,500時間分の遠隔操作データを含む大規模なデータセットで学習した。Nvidiaによると、人間の動画がデータの大半を占め、その量を増やすと、実機ロボットの作業成功率は50 %から70 %に向上する。
新しいロボットに作業を覚えさせる際、人間はデータグローブや指用の外骨格を使って手順を実演できる。システムは映像内の人間の腕をロボットの腕に置き換えて予測し、対応する制御指令を抽出する。Nvidiaによると、実演を数回行うだけで、従来型の学習を3分未満実施した後に成功率が40 %から95 %に上昇した。
性能と限界
管理された実験では、人間の動画1本から学習したロボットが釘打ちに成功した。また、GPT-6 Astraなどの上位言語モデルと組み合わせると、玩具の車の組み立てに97 %の試行で成功した。言語モデルを使わない場合、成功率は23 %に下がった。二足歩行ロボット向けには、より軽量な「GR00T 2 Turbo」がJetson Thorのオンボードコンピューター上で動作し、1回の予測に124 msかかる。ポップコーンをすくう、テーブルを片付ける、液体を拭き取るといった作業に対応するが、液体の拭き取りに成功したのは試行の半数弱だった。
Nvidiaは複数の課題も指摘している。このモデルはまだ直接的な触覚センサーを使えず、細かなミスを見逃すこともある。また、言語モデルを使うと計画の各ステップに約7秒の遅延が加わり、ごみの分別試験ではロボットが全体の約3分の1の時間、待機状態になった。
なぜ重要か
メーカーにとって、このモデルは新たな作業向けにロボットアームをプログラムする時間とコストを削減できる可能性がある。人間の実演1回で足りる場合もあるためだ。ただし、現状では外部の言語モデルが必要で、触覚も使えないため、ロボットが完全に信頼できる生産ラインで稼働する段階には至っていない。
