研究チームは、手持ちグリッパーを使って人が作業を実演する様子を16,151時間分学習させたロボットシステム「AIRoA-0」を発表しました。チームによると、学習中にロボットのデータは一切収集しておらず、ロボットが登場するのはシステムのテスト時だけです。デモの記録には、ロボットがなくても人が持って操作タスクを記録できるオープンソースのグリッパー「YUBI」を使っています。
AIRoA-0は、1つの指示を受けるだけで、12個以上の小さな部品を番号付きの区画に仕分ける、ロボット掃除機のモップパッドとブラシを交換する、ペンケースのファスナーを開ける、タオルをたたむといった作業に取り組めます。使うのは両手首に取り付けたカメラだけで、作業全体を見下ろすカメラは使いません。評価は、学習データを一切記録していない場所で行われました。
性能は？
評価した10のタスクで、研究チームは平均成功率78%を報告しています。同じタスクのデモで追加学習させた、ほかの4つの視覚・言語・行動モデル（視覚入力と言語指示をロボットの動作につなげるシステム）のうち、最も高い成績を示したモデルの27%と比較しています。これらは研究チームが報告した結果であり、提供された論文の概要には独立した評価についての記載はありません。
AIRoA-0は、YUBIグリッパーを取り付けられるさまざまなロボットで動作するよう設計されています。研究チームは、両腕型のFranka、TX-G2、OpenArm、URを例に挙げています。このシステムは、手首カメラの映像のどの部分が重要かを学習し、タスクのどの段階にあるかを推定して、動作を継続的に出力します。論文によると、強化学習もロボット上での修正も使っていません。
ほかの人も使えるものは？
チームは、デモのデータセット、事前学習済みモデルの重み、新しいタスクにシステムを適応させる手順を公開するとしています。研究チームの知る限り、このデータセットは、タスクとサブタスクの指示が付いた手持ちグリッパーのデモを集めたオープンデータとして最大規模です。YUBIでタスクを記録し、H200 GPUを8基搭載した1つのコンピューターノードを使えば、4時間以内にモデルを追加学習できると著者らは述べています。
この方法は、人がロボット自体を操作してデモを収集する従来のロボット学習とは異なります。研究チームはまず人間の手の動きを記録し、テスト時に学習した動作をロボットに移す方法を採っています。論文の結果が示すのは評価対象となった10のタスクに限られ、それ以外のタスクや環境でシステムがどの程度うまく機能するかは明らかになっていません。
なぜ重要か
ロボット研究者や開発者にとって、この方法ならロボット自体でデモを集める代わりに、人の手の動きを記録してロボットに作業を教えられる可能性があります。著者らは10のタスクで高い成績を報告していますが、それ以外のタスクでの性能や、結果の独立した検証についてはまだ分かっていません。
