Een team onder leiding van Huang Huang introduceerde RoboRender, een systeem dat gesimuleerde robottrajecten omzet in realistische RGB-video’s. Het model gebruikt dieptevideo’s, taalopdrachten en robotmaskers om texturen en achtergronden uit de echte wereld toe te voegen, zonder de onderliggende bewegingen en handelingen te veranderen. Beleidssystemen die met deze video’s zijn getraind, werden getest op taken als voorwerpen oppakken en neerzetten, werken met gearticuleerde objecten en mobiele manipulatie. Ze slaagden daar 71% van de tijd in. Dat is ongeveer 7.1 keer beter dan training met onbewerkte simulatiebeelden en 3.6 keer beter dan standaard visuele domeinrandomisatie.
Waarom het ertoe doet
Robotontwikkelaars kunnen controllers in een simulatie trainen en rechtstreeks inzetten, waardoor kostbare dataverzameling in de echte wereld minder nodig is.
