Ein Team unter der Leitung von Huang Huang hat RoboRender vorgestellt, ein System, das simulierte Roboterbewegungen in realistische RGB-Videos umwandelt. Das Modell nutzt Tiefenvideos, Sprachbefehle und Robotermasken, um realistische Texturen und Hintergründe hinzuzufügen, ohne die zugrunde liegenden Bewegungen und Aktionen zu verändern. Mit diesen Videos trainierte Steuerungen wurden bei Aufgaben zum Aufnehmen und Ablegen von Objekten, im Umgang mit gelenkigen Objekten und bei mobiler Manipulation getestet. Sie waren in 71 % der Fälle erfolgreich. Das ist etwa 7,1-mal besser als ein Training mit unveränderten Simulationen und 3,6-mal besser als mit herkömmlicher visueller Domänenrandomisierung.
Warum es wichtig ist
Roboterentwickler können Steuerungen in Simulationen trainieren und direkt einsetzen. So lässt sich die kostspielige Erfassung von Daten in der realen Welt reduzieren.
