Forschende haben GazeAct vorgestellt: einen Datensatz mit realen Robotern und eine Trainingsmethode, die 12,000 Demonstrationen aus 40 Aufgaben mit menschlichen Blickdaten verknüpft, die mit 300 Hz aufgezeichnet wurden. Die Blickdaten helfen dabei, Vision-Language-Action-Richtlinien auf relevante Objekte und Orte auszurichten. Laut den Autoren benötigen die Roboter beim Einsatz keine Blickdaten.
Bei 18 Aufgaben unter realen Bedingungen stieg die durchschnittliche Erfolgsrate den Autoren zufolge von 48.1% auf 58.6%; in einzelnen Fällen betrug der Zuwachs bis zu 25 Prozentpunkte. Auch beim LIBERO-Spatial-Benchmark meldeten sie einen Anstieg von 57.9% auf 69.6%.
Warum es wichtig ist
Für die Robotikforschung bietet GazeAct eine Möglichkeit, die Blickbewegungen von Bedienpersonen als Trainingshilfe zu nutzen, ohne beim Einsatz Blicksensoren zu benötigen. Ob die Verbesserungen auch über die gemeldeten Tests hinaus Bestand haben, ist noch unklar.
