Forskare har presenterat RoboBuilder, ett benchmark där kodningsagenter utformar både robotens hårdvara och dess styrprogram med standarddelar och en specialdesignad 3D-printad del. Konstruktioner som klarar simuleringen byggs och testas på en fysisk hinderbana.
I forskarnas tester klarade ingen av de 15 första konstruktionerna som godkänts i simuleringen hela den verkliga banan. Fyra kodningsagenter byggde sammanlagt 135 robotar. På samtliga svårighetsnivåer fungerade resultaten från simuleringarna i verkliga tester i 66 procent av fallen.
När agenterna fick se videor av misslyckanden i verkligheten gjorde de om robotarna och korrigerade ibland även simulatorn. Det undanröjde 72 procent av misslyckandena på de två enklare nivåerna. Agenterna hade fortfarande svårt med svårare hinder och med att utforma en enda robot som kunde ta sig över alla hinder.
Varför det spelar roll
För robotikforskare som använder simuleringar för att sålla bland konstruktioner visar RoboBuilder att det inte räcker att klara simuleringen: i de här testerna höll ungefär en av tre godkända simuleringar inte måttet i de verkliga testerna.