Uma equipe liderada por Huang Huang apresentou o RoboRender, um sistema que transforma trajetórias de robôs simuladas em vídeos RGB realistas. O modelo usa vídeos de profundidade, comandos em linguagem natural e máscaras dos robôs para acrescentar texturas e cenários do mundo real, preservando os movimentos e as ações originais. As políticas aprendidas com esses vídeos foram testadas em tarefas de pegar e posicionar objetos, manipular objetos articulados e realizar manipulação móvel, com sucesso em 71% das tentativas. O resultado é cerca de 7,1 vezes melhor do que o obtido com treinamento em imagens de simulação brutas e 3,6 vezes melhor do que com a randomização visual padrão do domínio.
Por que importa
Desenvolvedores de robôs podem treinar controladores em simulações e implantá-los diretamente, reduzindo os custos da coleta de dados no mundo real.
