Onderzoekers introduceerden RoboBuilder, een benchmark waarin codeeragents zowel de hardware als het besturingsprogramma van een robot ontwerpen met standaardonderdelen en een speciaal 3D-geprint onderdeel. Ontwerpen die de simulatie doorstaan, worden gebouwd en getest op een fysiek hindernissenparcours.
In de tests van de onderzoekers voltooide geen van de 15 eerste ontwerpen die de simulatie hadden doorstaan het echte parcours. Vier codeeragents bouwden samen 135 robots; successen in de simulatie werden bij alle moeilijkheidsniveaus in 66% van de gevallen ook in tests met echte robots behaald.
Toen de agents videobeelden van fouten in de echte wereld te zien kregen, pasten ze robots aan en corrigeerden ze soms ook de simulator. Zo verdwenen 72% van de fouten op de twee makkelijkste niveaus. Met moeilijkere hindernissen en het ontwerpen van één robot die elke hindernis kon nemen, bleven ze moeite houden.
Waarom het ertoe doet
Voor roboticaonderzoekers die simulaties gebruiken om ontwerpen te selecteren, laat RoboBuilder zien dat een geslaagde simulatie niet volstaat: in deze tests bleek ongeveer een op de drie simulatiesuccessen niet stand te houden in de tests met echte robots.