Un equipo dirigido por Huang Huang presentó RoboRender, un sistema que convierte trayectorias de robots simuladas en videos RGB realistas. El modelo utiliza videos de profundidad, instrucciones en lenguaje natural y máscaras de robots para añadir texturas y fondos del mundo real, sin alterar el movimiento ni las acciones subyacentes. Las políticas aprendidas a partir de estos videos se probaron en tareas de recoger y colocar objetos, manipular objetos articulados y manipulación móvil, y tuvieron éxito el 71% de las veces. Eso supone un rendimiento unas 7.1 veces superior al del entrenamiento con imágenes de simulación sin procesar y 3.6 veces superior al de la aleatorización visual estándar del dominio.
Por qué importa
Los desarrolladores de robots pueden entrenar controladores en simulación y desplegarlos directamente, lo que reduce el costoso trabajo de recopilar datos en el mundo real.
