Des chercheurs ont présenté GUARD, une méthode qui oriente des politiques génératives pour robots pendant leur exécution, sans modifier la politique préentraînée. Elle combine les récompenses liées à la tâche avec des scores d’anomalie — des signaux indiquant qu’une action s’écarte des schémas étayés par les données d’entraînement — et utilise une fonction Q apprise pour guider la génération des actions par la politique.
Dans quatre tâches simulées de manipulation avec dextérité, les auteurs font état de taux de réussite moyens de 96 % dans des conditions normales et de 80 % lorsque la dynamique est perturbée, soit 21 et 20 points de pourcentage de plus que la meilleure méthode de référence. Ils rapportent également des hausses du taux de réussite de 40 points pour la rotation d’un tournevis dans la main et de 25 points pour le réorienter, lors de tests directs du simulateur au monde réel.
Pourquoi c'est important
Pour les équipes de robotique qui adaptent des politiques génératives à des conditions changeantes, GUARD propose d’utiliser les anomalies détectées dans les données d’entraînement comme signal d’alerte lors du choix des actions. Les résultats présentés dans l’article sont prometteurs, mais ne permettent pas d’établir l’efficacité de la méthode au-delà des tâches évaluées.
