Yunze Liu氏らの研究チームが、ロボット向けの視覚・言語・行動埋め込みモデル「Robota-Embed」を公開した。このモデルは現在の状態、視覚入力、行動をまとめて符号化し、類似する過去の動作の続きを検索して文脈として利用する。テストでは、DROID-Simベンチマークの成功率が47%から56%に、LIBEROの難関サブセットでは86%から93%に上昇した。また、パラメーターを固定したGPT-6 Astraポリシーと組み合わせた場合、ManiSkillの5つのタスクで成功率は68%となり、ポリシー単独の24%を上回った。
なぜ重要か
ロボット開発者は、ポリシーを再学習させずにRobota-Embedでタスクの性能を高められるため、計算資源やデータ収集の負担を抑えられる。