En forskargrupp ledd av Huang Huang har presenterat RoboRender, ett system som omvandlar simulerade robotrörelser till realistiska RGB-videor. Modellen använder djupvideor, språkkommandon och robotmasker för att lägga till verklighetstrogna texturer och bakgrunder, samtidigt som rörelserna och handlingarna bevaras. Styrsystem som tränats med videorna testades på uppgifter inom plockning och placering, hantering av objekt med leder samt mobil manipulation. De lyckades i 71 % av försöken. Det är ungefär 7,1 gånger bättre än träning med råa simuleringsbilder och 3,6 gånger bättre än med standardmässig visuell domänrandomisering.
Varför det spelar roll
Robotutvecklare kan träna styrsystem i simulering och använda dem direkt i verkligheten, vilket minskar behovet av kostsam datainsamling där.
