Forskare har presenterat GazeAct, en datamängd från verkliga robotar och en träningsmetod som kopplar ihop 12,000 demonstrationer inom 40 uppgifter med mänsklig blickdata inspelad med 300 Hz. Blickdatan hjälper till att träna vision-language-action-policyer att fokusera på relevanta objekt och platser. Enligt forskarna behöver robotarna inte blickdata när de utför uppgifterna.
I 18 uppgifter i verkliga miljöer rapporterar forskarna att den genomsnittliga framgångsgraden ökade från 48.1% till 58.6%, med förbättringar på upp till 25 procentenheter. De rapporterar också en ökning på LIBERO-Spatial-benchmarken, från 57.9% till 69.6%.
Varför det spelar roll
För robotforskare erbjuder GazeAct ett sätt att använda operatörers ögonrörelser som vägledning vid träning, utan att kräva blicksensorer när robotarna används. Det är fortfarande oklart om förbättringarna håller i sig utanför de redovisade testerna.
