Un equipo de investigadores presentó GazeAct, un conjunto de datos de robots reales y un método de entrenamiento que reúne 12.000 demostraciones de 40 tareas con registros de la mirada humana captados a 300 Hz. La mirada ayuda a entrenar políticas de visión, lenguaje y acción para que se centren en los objetos y lugares pertinentes; según sus autores, los robots no necesitan recibir información de la mirada cuando realizan las tareas.
En 18 tareas del mundo real, los autores informan que la tasa media de éxito pasó del 48,1% al 58,6%, con mejoras de hasta 25 puntos porcentuales. También registran un aumento en el benchmark LIBERO-Spatial, del 57,9% al 69,6%.
Por qué importa
Para quienes investigan robótica, GazeAct ofrece una forma de usar los movimientos oculares de los operadores como guía de entrenamiento sin necesitar sensores de seguimiento de la mirada durante el despliegue. Aún no está claro si las mejoras se mantienen fuera de las pruebas descritas.
