Un team guidato da Huang Huang ha presentato RoboRender, un sistema che trasforma le traiettorie simulate dei robot in video RGB realistici. Il modello usa video di profondità, comandi in linguaggio naturale e maschere dei robot per aggiungere texture e sfondi del mondo reale, preservando i movimenti e le azioni sottostanti. I sistemi addestrati con questi video sono stati testati in attività di presa e posizionamento, manipolazione di oggetti articolati e manipolazione mobile, riuscendo nel 71% dei casi. È un risultato circa 7,1 volte migliore rispetto all’addestramento con rendering grezzi della simulazione e 3,6 volte migliore rispetto alla consueta randomizzazione visiva del dominio.
Perché conta
Gli sviluppatori di robot possono addestrare i controller in simulazione e poi usarli direttamente sui robot reali, riducendo i costi della raccolta di dati nel mondo reale.
