Runway har släppt Praxis-1, en modell för robotstyrning vars vikter och källkod finns tillgängliga under licensen Apache 2.0, som tillåter kommersiell användning. Modellen tar emot kamerabilder, textinstruktioner och information om robotens position. Därefter förutsäger den hur scenen kommer att förändras och vilka rörelser roboten bör göra. Den anpassar styrningen när nya kamerabilder kommer in.
Runway presenterade Praxis-1 första gången i slutet av september och delade då modellen endast med utvalda samarbetspartner. Robotikföretagen Standard Bots, Noble Machines och Ultra har sedan testat den på olika system, däribland en humanoid robot, en industrirobotarm och en lagerrobot med två armar. Utvecklare kan ladda ner modellen från Hugging Face efter att ha registrerat sig och godkänt villkoren för åtkomst. Koden finns på GitHub.
Hur bra presterar modellen?
Praxis-1 bygger på en videomodell som tränats för att förstå hur föremål rör sig och samverkar. Runway finjusterade den med videor av mänskliga handlingar och robotdata, i syfte att ta vara på vad modellen lärt sig från vanliga videoklipp. Metoden kan minska behovet av robotspecifika data, men det är ännu inte fastställt: Runway använde fortfarande omkring 277 timmar DROID-inspelningar från robotar för att anpassa Praxis-1 till en Franka-arm och 1 400 till 2 600 timmars material för en robot med två armar.
I Nvidias simuleringsbenchmark RoboLab-120, som testar 120 uppgifter med sortering, grepp och stapling av föremål, fick Praxis-1 en framgångsgrad på 46,2 %. FLUX 3 Action fick 42,9 % under samma förhållanden. Praxis-1 kom etta bland World Action Models, en kategori system som förutsäger hur en scen kommer att förändras för att styra handlingar, och femma totalt. Runway genomförde testerna; resultaten har inte verifierats oberoende.
Med en riktig Franka-arm klarade Praxis-1 88 av 100 försök inom tio uppgifter, jämfört med 80 för FLUX 3 Action. I en separat simulering med en robotplattform som inte ingick i den tidigare träningen nådde Praxis-1 80 % efter finjustering med omkring 95 timmars robotdata. Runway uppger att Googles ursprungliga RT-1 fick 52,4 % i samma benchmark.
Vilka begränsningar finns?
Grundmodellen behöver ytterligare träning för att fungera med en ny robot. Standardversionen kräver en GPU med 80 GB minne. Runway uppskattar att en komprimerad version ryms på ett RTX 5090 med 32 GB, men den högsta minnesanvändningen har inte mätts. Runway uppger också att Praxis-1 kan blanda ihop föremål som ser likadana ut och ha svårt med vaga instruktioner. Komplexa uppgifter behöver delas upp i tydliga steg eftersom modellen ännu inte på ett tillförlitligt sätt kan planera långa handlingssekvenser på egen hand.
Varför det spelar roll
Robotutvecklare kan ladda ner Praxis-1 och granska eller anpassa koden under en licens som tillåter kommersiell användning, även om grundmodellen behöver tränas ytterligare för varje ny robot. Runways resultat är lovande, men testerna har genomförts av företaget självt och har inte verifierats oberoende. Därför är det fortfarande oklart hur väl modellen fungerar i andra utvecklares miljöer och om förträning på videor faktiskt minskar databehovet.
