研究チームは、ロボットが動きを直接選ぶのではなく、視覚言語モデル（VLM）に周囲の簡易モデルを作らせるロボットシステム「WorldSketch」を発表した。モデルは、作業に関係する物体や、物体に触れたり動かしたりする方法、可能な動作を特定する。その後、幾何プランナーがモデルを使い、物体との接触やロボット全身の動きを計画する。
研究チームによると、ゼロショットでの成功率はRoboCasaで91%、LIBERO-PROで97%、R2R-CEのナビゲーションで76%だった。RoboCasaでは、WorldSketchは次点のゼロショットエージェントのベースラインを58ポイント上回りながら、VLMへの入力トークン数を10分の1に抑えた。LIBERO-PROではCaP-Xを82ポイント上回った。ナビゲーションでは、段階ごとに指示を出すVLMエージェントと同じ成功率を、入力トークン数を6分の1にして達成した。これらは論文の著者が報告した結果であり、独立した評価によるものではない。
システムはどのように計画を修正するのか？
WorldSketchは、最初に作ったスケッチを最終版とはみなさない。VLMは認識ツールを呼び出して理解した内容を確かめられ、ロボットの実行結果から予測が誤っていたと分かることもある。その場合、システムはモデルの不確かな部分を更新し、再び試す。狙いは、VLMに正確な幾何形状や接触について直接推論させずに、プランナーが動作を決めるのに十分な情報を与えることだ。
この手法は、研究チームが説明する2つの一般的な設計方針に対応するものだ。VLMに固定されたスキル群から選ばせる方法と、動作や制御プログラムを生成させる方法である。固定スキル群ではロボットにできることが限られ、動作を直接生成させる方法では、VLMが詳細な物理的推論を担う必要がある。これに対しWorldSketchでは、VLMが作業に特化したモデルを構築し、プランナーが動きを担当する。
この論文は40ページのarXivプレプリントで、2026年11月3日に公開された。要旨では3つのベンチマークでの結果が報告されているが、評価に実機のロボットを使ったかどうかや、テスト外でどの程度の性能を発揮するかは示されていない。したがって、今回の結果は報告された評価の範囲内で有望さを示すものであり、家庭で日常的に信頼して使えることを証明するものではない。
なぜ重要か
家庭用ロボットに関心のある人にとって、WorldSketchは視覚的な理解と動作をつなぐ別の方法を示している。VLMがモデルを作り、プランナーがそれを使って動作する仕組みだ。ベンチマークの結果は有望だが、論文の要旨からは、実機で試されたかどうかや、一般的な家庭でどの程度安定して動くかは分からない。
