I ricercatori hanno presentato GazeAct, un dataset raccolto con robot reali e un metodo di addestramento che abbina 12,000 dimostrazioni su 40 attività allo sguardo umano registrato a 300 Hz. Lo sguardo aiuta ad addestrare policy visione-linguaggio-azione a concentrarsi sugli oggetti e sui punti rilevanti; secondo gli autori, durante l’esecuzione i robot non hanno bisogno dei dati sullo sguardo.
Su 18 attività nel mondo reale, gli autori riferiscono che il tasso medio di successo è salito dal 48.1% al 58.6%, con miglioramenti fino a 25 punti percentuali. Segnalano inoltre un aumento sul benchmark LIBERO-Spatial, dal 57.9% al 69.6%.
Perché conta
Per chi fa ricerca in robotica, GazeAct offre un modo per usare i movimenti oculari degli operatori come guida durante l’addestramento, senza richiedere sensori dello sguardo in fase di utilizzo. Resta da capire se i miglioramenti si confermeranno al di fuori dei test riportati.
