Des chercheurs ont présenté GazeAct, un jeu de données recueillies sur de vrais robots et une méthode d’entraînement qui associent 12,000 démonstrations réparties sur 40 tâches au suivi du regard humain, enregistré à 300 Hz. Ces données aident à entraîner des politiques vision-langage-action afin qu’elles se concentrent sur les objets et les emplacements pertinents. Selon les auteurs, les robots n’ont pas besoin de données sur le regard lorsqu’ils sont en fonctionnement.
Sur 18 tâches réalisées dans le monde réel, les auteurs font état d’une hausse du taux de réussite moyen, de 48.1% à 58.6%, avec des gains pouvant atteindre 25 points de pourcentage. Ils rapportent également une progression sur le benchmark LIBERO-Spatial, de 57.9% à 69.6%.
Pourquoi c'est important
Pour les chercheurs en robotique, GazeAct permet d’utiliser les mouvements oculaires des opérateurs comme guide d’entraînement sans avoir besoin de capteurs de suivi du regard une fois les robots déployés. Il reste à déterminer si ces gains se confirment au-delà des tests rapportés.
