研究者らは、実機ロボットのデータセットと訓練手法「GazeAct」を発表しました。40のタスクにわたる12,000件の実演に、300 Hzで記録した人の視線を組み合わせています。視線情報を使うことで、視覚・言語・行動ポリシーが関連する物体や場所に注目するよう訓練できます。研究者らによると、ロボットの稼働時に視線入力は必要ありません。
現実環境での18のタスクでは、平均成功率が48.1%から58.6%に上がり、最大で25パーセントポイント向上したと報告されています。また、LIBERO-Spatialベンチマークでも、成功率は57.9%から69.6%に上昇しました。
なぜ重要か
ロボット研究者にとって、GazeActは、運用時に視線センサーを必要とせず、操作者の目の動きを訓練の手がかりとして使う方法を提供します。ただし、報告されたテスト以外でも効果が得られるかは、まだ明らかではありません。
