Forskare har presenterat GUARD, en metod för att styra generativa robotpolicyer under körning utan att ändra den förtränade policyn. Metoden kombinerar uppgiftsbelöningar med avvikelsepoäng – signaler om att en handling ligger utanför de mönster som träningsdata stöder – och använder en inlärd Q-funktion för att styra hur policyn genererar handlingar.
I fyra simulerade uppgifter med avancerad fingerfärdig manipulation rapporterar forskarna en genomsnittlig träffsäkerhet på 96% under normala förhållanden och 80% när dynamiken stördes. Det är 21 respektive 20 procentenheter bättre än den starkaste jämförelsemetoden. De rapporterar också förbättringar på 40 procentenheter för rotation av en skruvmejsel i handen och 25 procentenheter för omorientering i direkta tester från simulering till verklighet.
Varför det spelar roll
För robotikteam som anpassar generativa policyer till föränderliga förhållanden erbjuder GUARD ett sätt att använda avvikelser från träningsdata som varningssignaler när handlingar väljs. Artikeln rapporterar lovande resultat, men visar inte hur väl metoden fungerar utanför de testade uppgifterna.
