Onderzoekers introduceerden GazeAct, een dataset van echte robots en een trainingsmethode die 12.000 demonstraties van 40 taken koppelt aan menselijke blikgegevens, vastgelegd met 300 Hz. De blikgegevens helpen vision-language-action-beleidsmodellen te trainen om zich op relevante objecten en locaties te richten. Volgens de auteurs hebben robots tijdens het uitvoeren geen blikgegevens nodig.
Bij 18 taken in de echte wereld steeg het gemiddelde succespercentage volgens de auteurs van 48.1% naar 58.6%, met verbeteringen tot 25 procentpunten. Ook melden ze een stijging op de LIBERO-Spatial-benchmark, van 57.9% naar 69.6%.
Waarom het ertoe doet
Voor robotonderzoekers biedt GazeAct een manier om oogbewegingen van operators als trainingssignaal te gebruiken, zonder dat tijdens het gebruik sensoren voor blikregistratie nodig zijn. Het is nog onduidelijk of de verbeteringen ook buiten de gerapporteerde tests standhouden.
