I ricercatori hanno presentato RoboBuilder, un benchmark in cui agenti di programmazione progettano sia l’hardware di un robot sia il programma che lo controlla, usando componenti standard e un pezzo realizzato con una stampante 3D. I progetti che superano la simulazione vengono costruiti e testati su un percorso a ostacoli reale.
Nei test dei ricercatori, nessuno dei 15 progetti iniziali che avevano superato la simulazione è riuscito a completare il percorso reale. In totale, i quattro agenti di programmazione hanno costruito 135 robot; considerando tutti i livelli di difficoltà, i successi in simulazione si sono ripetuti nelle prove reali nel 66% dei casi.
Dopo aver visto i video dei fallimenti nel mondo reale, gli agenti hanno riprogettato i robot e, talvolta, corretto anche il simulatore, eliminando il 72% dei fallimenti nei due livelli più facili. Hanno continuato ad avere difficoltà con gli ostacoli più impegnativi e a progettare un unico robot in grado di superarli tutti.
Perché conta
Per i ricercatori di robotica che usano la simulazione per selezionare i progetti, RoboBuilder dimostra che superare una simulazione non basta: in questi test, circa un successo su tre non si è confermato nelle prove nel mondo reale.