Forskare vid MIT Han Lab säger att de tränade en öppen resonemangsmodell med 27 miljarder parametrar att styra verkliga robotar med förstärkningsinlärning i simulering, utan demonstrationer av hur uppgifterna skulle utföras. Med en verklig robot med två armar lyckades den tränade modellen i 60 procent av försöken. Den otränade modellen lyckades inte alls.
Modellen, som bygger på Qwen3.8-27B, förbättrade också sitt resultat från 1,6 procent till 74,4 procent på robotuppgiftsjämförelsen LIBERO. Enligt forskarna närmade sig resultatet GPT-6 Astra och GPT-6.1 Sol när de modellerna kördes med sina högsta inställningar för resonemang. Resultaten kommer från forskarnas egna utvärderingar och har inte granskats oberoende.
Hur styr modellen en robot?
Modellen får bilder från kameror och information om robotarmen, resonerar kring vad den ska göra och anger sedan armens nästa position. En robotstyrenhet omvandlar positionen till rörelser. Forskarna beskriver detta som något som liknar en datoragent som tittar på en skärm och klickar, men säger att deras system inte använder något extra lager med verktyg för perception, rörelseplanerare eller färdiga färdigheter.
Träningen byggde på förstärkningsinlärning för robotstyrning: modellen provade uppgifter i simulerade miljöer och lärde sig utifrån om den lyckades. Teamets programvara PEAR tillhandahåller infrastrukturen för träningen, bland annat simuleringar och utvärderingsverktyg. MIT Han Lab säger att de har släppt modellen, koden och träningsinfrastrukturen.
Fungerar träning i simulering även i verkligheten?
Forskarna uppger att modellen kunde använda sina färdigheter med en verklig robot, en annan robot och instruktioner den inte hade mött under träningen. På LIBERO-Pro, som testar förändrade mål och objektplaceringar, lyckades deras modell i 57,4 procent av försöken med en ny uppgift i en bekant miljö. Den demonstrations-tränade modellen π0.5 lyckades i 0,75 procent av försöken under samma förutsättningar.
Det är ett annat slags test än att bara upprepa välbekanta uppgifter. På LIBERO utvärderade forskarna modellerna i 2 000 försök. De rapporterar också att robotträningen inte ledde till någon mätbar försämring på nio jämförelsetester inom resonemang, kodning och bildförståelse. Artikeln är ett förhandsgranskat arXiv-manus, och resultaten visar inte hur systemet skulle fungera i vardaglig användning eller med andra robotar och i andra miljöer.
Varför det spelar roll
Forskare inom robotik kan använda den släppta modellen, koden och PEAR-infrastrukturen för att undersöka om träning i simulering kan minska behovet av demonstrationer av olika uppgifter. Resultatet med den verkliga roboten är lovande, men visar inte hur tillförlitligt systemet skulle fungera med andra robotar och uppgifter än de som testades.