Forschende des MIT Han Lab berichten, dass sie einem offenen Reasoning-Modell mit 27 Milliarden Parametern mithilfe von Reinforcement Learning in Simulation den Umgang mit echten Robotern beigebracht haben – ganz ohne Demonstrationen der Aufgaben. Auf einem echten Doppelarmroboter war das trainierte Modell bei 60 Prozent ihrer Versuche erfolgreich; das untrainierte Modell bei keinem einzigen.
Das auf Qwen3.8-27B basierende Modell verbesserte sich außerdem beim Robotik-Aufgabenbenchmark LIBERO von 1,6 auf 74,4 Prozent. Laut den Forschenden kam dieses Ergebnis an GPT-6 Astra und GPT-6.1 Sol heran, wenn diese Modelle mit ihren höchsten Reasoning-Einstellungen liefen. Die Ergebnisse stammen aus den Evaluationen der Forschenden und wurden nicht unabhängig überprüft.
Wie steuert das Modell einen Roboter?
Das Modell erhält Kamerabilder und Informationen über den Roboterarm, überlegt, was zu tun ist, und gibt anschließend die nächste Position des Arms aus. Eine Robotersteuerung setzt diese Position in Bewegung um. Die Forschenden vergleichen das mit einem Computer-Agenten, der auf einen Bildschirm schaut und einen Klick ausführt. Ihr System komme jedoch ohne eine zusätzliche Ebene mit Wahrnehmungswerkzeugen, Bewegungsplanern oder vorgefertigten Fertigkeiten aus.
Trainiert wurde das Modell mit Reinforcement Learning für den Robotereinsatz: Es probierte Aufgaben in simulierten Umgebungen aus und lernte anhand dessen, ob es erfolgreich war. Die Software PEAR des Teams stellt die Trainingsinfrastruktur bereit, darunter Simulationen und Evaluationswerkzeuge. Das MIT Han Lab gibt an, das Modell, den Code und die Trainingsinfrastruktur veröffentlicht zu haben.
Lässt sich Simulationstraining auf echte Roboter übertragen?
Den Forschenden zufolge übertrug das Modell seine Fähigkeiten auf einen echten Roboter, einen anderen Robotertyp und Anweisungen, die es im Training nicht kennengelernt hatte. Bei LIBERO-Pro, einem Test mit veränderten Zielen und Objektanordnungen, war ihr Modell bei 57,4 Prozent der Durchläufe mit einer neuen Aufgabe in einer vertrauten Szene erfolgreich. Das mit Demonstrationen trainierte Modell π0.5 erreichte in dieser Konstellation 0,75 Prozent.
Das ist eine andere Art von Test, als lediglich vertraute Aufgaben zu wiederholen. Für LIBERO evaluierten die Forschenden die Modelle in 2.000 Durchläufen. Außerdem berichten sie, dass das Robotertraining bei neun Benchmarks zu Reasoning, Programmierung und Bildverarbeitung keine messbaren Einbußen zur Folge hatte. Das Paper ist ein arXiv-Preprint; aus den Ergebnissen geht nicht hervor, wie das System im Alltag oder mit anderen Robotern und in anderen Umgebungen funktionieren würde.
Warum es wichtig ist
Forschende im Bereich Robotik können das veröffentlichte Modell, den Code und die PEAR-Trainingsinfrastruktur nutzen, um zu untersuchen, ob sich durch Simulationstraining der Bedarf an Aufgabendemonstrationen senken lässt. Das berichtete Ergebnis mit einem echten Roboter ist vielversprechend, zeigt aber nicht, wie zuverlässig das System außerhalb der getesteten Roboter- und Aufgabenbereiche funktionieren würde.