Forschende haben RoboBuilder vorgestellt, einen Benchmark, bei dem Coding-Agenten sowohl die Hardware eines Roboters als auch dessen Steuerungsprogramm entwerfen. Dafür verwenden sie Standardteile und ein eigens 3D-gedrucktes Bauteil. Entwürfe, die die Simulation bestehen, werden gebaut und auf einem realen Hindernisparcours getestet.
In den Tests der Forschenden bewältigte keiner der 15 ersten Entwürfe, die die Simulation bestanden hatten, den realen Parcours. Mit vier Coding-Agenten wurden 135 Roboter gebaut; über alle Schwierigkeitsstufen hinweg bewährten sich Erfolge aus der Simulation in 66 % der realen Tests.
Nachdem die Agenten Videos ihrer Fehler in der realen Welt gesehen hatten, entwarfen sie die Roboter neu und korrigierten teilweise auch den Simulator. Auf den beiden leichteren Stufen konnten sie so 72 % der Fehler beheben. Bei schwierigeren Hindernissen und beim Entwurf eines einzigen Roboters, der alle Hindernisse überwinden kann, hatten sie weiterhin Schwierigkeiten.
Warum es wichtig ist
Für Robotikforschende, die Entwürfe zunächst per Simulation prüfen, zeigt RoboBuilder: Eine bestandene Simulation reicht nicht aus. In diesen Tests hielt etwa einer von drei Simulationserfolgen den realen Versuchen nicht stand.