Runway ha rilasciato Praxis-1, un modello per il controllo dei robot i cui pesi e il codice sorgente sono disponibili con licenza Apache 2.0, che ne consente l’uso commerciale. Il modello riceve immagini da una telecamera, istruzioni testuali e informazioni sulla posizione del robot, quindi prevede come cambierà la scena e quali movimenti dovrà compiere il robot. Aggiorna i comandi man mano che arrivano nuovi fotogrammi dalla telecamera.
Runway aveva presentato Praxis-1 per la prima volta a fine settembre, condividendolo inizialmente solo con partner selezionati. Da allora, le aziende di robotica Standard Bots, Noble Machines e Ultra lo hanno testato su diversi sistemi, tra cui un robot umanoide, un braccio industriale e un robot da magazzino a doppio braccio. Gli sviluppatori possono scaricarlo da Hugging Face dopo essersi registrati e aver accettato le condizioni di accesso; il codice è disponibile su GitHub.
Come si comporta?
Praxis-1 si basa su un modello video addestrato a comprendere come gli oggetti si muovono e interagiscono. Runway lo ha perfezionato con video di azioni umane e dati robotici, con l’obiettivo di sfruttare ciò che il modello aveva imparato dai filmati ordinari. Questo approccio potrebbe ridurre la quantità di dati specifici per i robot necessaria, ma non è ancora dimostrato: Runway ha comunque usato circa 277 ore di registrazioni robotiche DROID per adattare Praxis-1 a un braccio Franka e da 1.400 a 2.600 ore di materiale per un robot a doppio braccio.
Nel benchmark di simulazione RoboLab-120 di Nvidia, che mette alla prova 120 attività di smistamento, presa e impilamento di oggetti, Praxis-1 ha ottenuto un tasso di successo del 46,2%. FLUX 3 Action ha raggiunto il 42,9% nelle stesse condizioni. Praxis-1 si è classificato primo tra i World Action Models, una categoria di sistemi che prevedono come cambierà una scena per guidare le azioni, e quinto nella classifica generale. I test sono stati condotti da Runway e i risultati non sono stati verificati in modo indipendente.
Su un braccio Franka reale, Praxis-1 ha completato 88 tentativi su 100 in dieci attività, contro gli 80 di FLUX 3 Action. In una simulazione separata, condotta con una piattaforma robotica esclusa dal precedente addestramento, Praxis-1 ha raggiunto l’80% dopo essere stato perfezionato con circa 95 ore di dati robotici. Runway riferisce che RT-1, il modello originale di Google, ha ottenuto il 52,4% nello stesso benchmark.
Quali sono i limiti?
Il modello di base richiede un ulteriore addestramento per funzionare con un nuovo robot. La versione standard necessita di una GPU con 80 GB di memoria. Runway stima che una versione compressa possa funzionare su una RTX 5090 con 32 GB, anche se il suo consumo massimo di memoria non è stato misurato. Runway afferma inoltre che Praxis-1 può confondere oggetti dall’aspetto simile e avere difficoltà con istruzioni vaghe. Le attività complesse devono essere suddivise in passaggi chiari, perché il modello non è ancora in grado di pianificare autonomamente sequenze di azioni lunghe in modo affidabile.
Perché conta
Gli sviluppatori di robot possono scaricare Praxis-1 e consultare o adattare il suo codice con una licenza che ne consente l’uso commerciale, anche se il modello di base richiede un addestramento aggiuntivo per ogni nuovo robot. I risultati di Runway sono promettenti, ma derivano da test condotti dall’azienda e non verificati in modo indipendente: resta quindi da capire quanto bene il modello funzionerà nei contesti di altri sviluppatori e se il preaddestramento su video ridurrà davvero la quantità di dati necessaria.
