Onderzoekers introduceerden GUARD, een methode om generatieve robotbeleidsmodellen tijdens de uitvoering bij te sturen zonder het vooraf getrainde beleid aan te passen. De methode combineert taakbeloningen met anomaliescores — signalen dat een actie afwijkt van patronen die door de trainingsdata worden ondersteund — en gebruikt een aangeleerde Q-functie om het proces waarmee het beleid acties genereert te sturen.
Bij vier gesimuleerde taken voor behendige manipulatie melden de auteurs gemiddelde succespercentages van 96% onder normale omstandigheden en 80% bij verstoorde dynamiek. Daarmee presteerde GUARD 21 en 20 procentpunt beter dan de sterkste vergelijkingsmethode. Bij rechtstreekse tests waarbij simulatie naar de echte wereld werd overgezet, melden ze een stijging van het succespercentage met 40 procentpunt bij het draaien van een schroevendraaier in de hand en met 25 procentpunt bij heroriëntatie.
Waarom het ertoe doet
Voor roboticateams die generatieve beleidsmodellen aanpassen aan veranderende omstandigheden, biedt GUARD een manier om afwijkingen van de trainingsdata als waarschuwingssignaal te gebruiken bij het kiezen van acties. Het artikel meldt veelbelovende resultaten, maar toont niet aan hoe goed de methode werkt buiten de geteste taken.
