研究者らは、コーディングエージェントが標準部品と専用の3Dプリント部品を使い、ロボットのハードウェアと制御プログラムの両方を設計するベンチマーク「RoboBuilder」を発表した。シミュレーションを通過した設計は実際に製作され、物理的な障害物コースでテストされる。
研究者らのテストでは、シミュレーションを通過した初期設計15種類のうち、実際のコースを完走したものはなかった。4つのコーディングエージェントを使い、計135台のロボットを製作。すべての難易度を通じて、シミュレーションでの成功が実機テストでも再現された割合は66%だった。
実環境での失敗を動画で見せると、エージェントはロボットを再設計し、シミュレーターを修正することもあった。その結果、難易度の低い2段階では失敗の72%を解消した。一方、より難しい障害物への対応や、すべての障害物を越えられる1台のロボットの設計には苦戦した。
なぜ重要か
シミュレーションで設計を絞り込むロボット研究者にとって、RoboBuilderは、シミュレーションを通過するだけでは不十分だと示している。今回のテストでは、シミュレーションに合格した設計のおよそ3分の1が、実環境での試験では成功しなかった。