Pesquisadores apresentaram o GazeAct, um conjunto de dados de robôs reais e um método de treinamento que reúne 12,000 demonstrações em 40 tarefas com registros do olhar humano captados a 300 Hz. O olhar ajuda a treinar políticas de visão-linguagem-ação para que se concentrem em objetos e locais relevantes; segundo os autores, os robôs não precisam receber dados do olhar durante a execução.
Em 18 tarefas do mundo real, os autores relatam que a taxa média de sucesso subiu de 48.1% para 58.6%, com ganhos de até 25 pontos percentuais. Também relatam um aumento no benchmark LIBERO-Spatial, de 57.9% para 69.6%.
Por que importa
Para pesquisadores de robótica, o GazeAct oferece uma forma de usar os movimentos dos olhos de operadores como orientação no treinamento, sem exigir sensores de rastreamento do olhar durante a implantação. Ainda não está claro se os ganhos se mantêm além dos testes relatados.
