Forschende haben GUARD vorgestellt, eine Methode, die generative Roboter-Policies während der Ausführung steuert, ohne die vortrainierte Policy zu verändern. Sie kombiniert Aufgabenbelohnungen mit Anomaliewerten – Hinweisen darauf, dass eine Aktion außerhalb der durch die Trainingsdaten gestützten Muster liegt – und nutzt eine gelernte Q-Funktion, um die Aktionsgenerierung der Policy zu lenken.
Bei vier simulierten Aufgaben zur geschickten Objektmanipulation berichten die Autoren von durchschnittlichen Erfolgsraten von 96% unter normalen Bedingungen und 80% bei veränderter Dynamik. Damit übertraf GUARD die stärkste Vergleichsmethode um 21 beziehungsweise 20 Prozentpunkte. In direkten Sim-to-Real-Tests berichten sie außerdem von um 40 Prozentpunkte höheren Erfolgsraten beim Drehen eines Schraubendrehers in der Hand und um 25 Prozentpunkte bei der Neuausrichtung eines Objekts.
Warum es wichtig ist
Robotikteams, die generative Policies an wechselnde Bedingungen anpassen, können mit GUARD Anomalien in den Trainingsdaten als Warnsignal bei der Aktionsauswahl nutzen. Die Studie berichtet zwar von vielversprechenden Ergebnissen, zeigt aber nicht, wie gut die Methode außerhalb der getesteten Aufgaben funktioniert.
