Ein Forschungsteam hat AIRoA-0 vorgestellt, ein Robotersystem, das mit 16.151 Stunden aufgezeichneten Demonstrationen trainiert wurde. Menschen führten die Aufgaben dabei mit einem handgeführten Greifer vor. Nach Angaben des Teams wurden während des Trainings keine Roboterdaten erhoben: Ein Roboter kommt erst beim Testen des Systems zum Einsatz. Für die Demonstrationen nutzten die Forschenden YUBI, einen Open-Source-Greifer, den Menschen in der Hand halten können, um Manipulationsaufgaben ohne anwesenden Roboter aufzuzeichnen.
Auf eine einzige Anweisung hin kann AIRoA-0 Aufgaben erledigen wie mehr als ein Dutzend Kleinteile in nummerierte Fächer zu sortieren, die Wischpads und Bürste eines Saugroboters zu wechseln, ein Federmäppchen zu öffnen und ein Handtuch zu falten. Dabei nutzt das System nur Kameras an den beiden Handgelenken des Roboters; eine Kamera, die die gesamte Szene von oben erfasst, gibt es nicht. Die Tests fanden an einem Ort statt, an dem keine der Trainingsdaten aufgezeichnet worden war.
Wie schnitt das System ab?
Bei 10 getesteten Aufgaben lag die durchschnittliche Erfolgsquote laut den Autoren bei 78%. Zum Vergleich: Das beste von vier anderen Vision-Language-Action-Modellen – Systemen, die visuelle Eingaben und Sprachanweisungen in Roboteraktionen umsetzen – erreichte nach einem zusätzlichen Training mit denselben Aufgabendemonstrationen 27%. Diese Ergebnisse stammen vom Forschungsteam; die bereitgestellte Zusammenfassung des Papers beschreibt keine unabhängige Überprüfung.
AIRoA-0 ist für den Einsatz mit verschiedenen Robotern ausgelegt, an denen sich der YUBI-Greifer montieren lässt. Als Beispiele nennen die Autoren die beidhändigen Roboter Franka, TX-G2, OpenArm und UR. Das System lernt, welche Bereiche seiner Handgelenkkamera-Aufnahmen wichtig sind, schätzt ab, an welchem Punkt einer Aufgabe es sich befindet, und gibt fortlaufend Aktionen aus. Laut Paper kommen weder Reinforcement Learning noch Korrekturen direkt am Roboter zum Einsatz.
Was können andere nutzen?
Das Team will den Demonstrationsdatensatz, die vortrainierten Modellgewichte und eine Anleitung zur Anpassung des Systems an neue Aufgaben veröffentlichen. Nach eigener Kenntnis handelt es sich um die größte frei verfügbare Sammlung von Demonstrationen mit handgeführten Greifern, die Anweisungen zu Aufgaben und Teilschritten enthält. Die Autoren geben an, dass sich eine Aufgabe mit YUBI aufzeichnen und das Modell anschließend in weniger als vier Stunden nachtrainieren lässt – mit einem Rechnerknoten mit acht H200-GPUs.
Dieser Ansatz unterscheidet sich vom üblichen Robotertraining, bei dem Menschen Demonstrationen oft direkt am Roboter aufnehmen. Die Forschenden zeichnen stattdessen zunächst menschliche Handbewegungen auf und übertragen das erlernte Verhalten erst beim Testen auf einen Roboter. Die Ergebnisse des Papers beziehen sich auf die 10 getesteten Aufgaben; sie belegen nicht, wie gut das System bei anderen Aufgaben oder unter anderen Bedingungen funktioniert.
Warum es wichtig ist
Für die Robotikforschung und -entwicklung könnte dieser Ansatz bedeuten, dass sich einem Roboter Aufgaben beibringen lassen, indem man die Hände eines Menschen aufzeichnet, statt Demonstrationen direkt am Roboter zu sammeln. Die Autoren berichten von starken Ergebnissen bei 10 Aufgaben; wie das System bei anderen Aufgaben abschneidet und ob sich die Ergebnisse unabhängig bestätigen lassen, ist jedoch offen.
