Runway lanzó Praxis-1, un modelo de control robótico cuyos pesos y código fuente están disponibles con licencia Apache 2.0, que permite el uso comercial. El modelo recibe imágenes de cámaras, instrucciones de texto e información sobre la posición del robot; luego predice cómo cambiará la escena y qué movimientos debería realizar el robot. Ajusta el control a medida que recibe nuevos fotogramas de la cámara.
Runway presentó Praxis-1 por primera vez a finales de septiembre y, en un principio, solo lo compartió con algunos socios. Desde entonces, las empresas de robótica Standard Bots, Noble Machines y Ultra lo han probado en distintos sistemas, como un robot humanoide, un brazo industrial y un robot de almacén con dos brazos. Los desarrolladores pueden descargarlo de Hugging Face tras registrarse y aceptar las condiciones de acceso; el código está en GitHub.
¿Cómo rinde?
Praxis-1 se basa en un modelo de video entrenado para comprender cómo se mueven e interactúan los objetos. Runway lo ajustó con videos de acciones humanas y datos de robots, con el objetivo de aprovechar lo que el modelo aprendió de videos comunes. Este enfoque podría reducir la cantidad de datos específicos de robots que se necesitan, pero eso aún no se ha demostrado: Runway utilizó alrededor de 277 horas de grabaciones de robots DROID para adaptar Praxis-1 a un brazo Franka, y entre 1.400 y 2.600 horas de material para un robot de dos brazos.
En RoboLab-120, una prueba de simulación de Nvidia que evalúa 120 tareas de clasificación, agarre y apilamiento de objetos, Praxis-1 obtuvo una tasa de éxito del 46,2 %. FLUX 3 Action obtuvo un 42,9 % en las mismas condiciones. Praxis-1 quedó primero entre los World Action Models, una categoría de sistemas que predicen cómo cambiará una escena para orientar las acciones, y quinto en la clasificación general. Runway realizó las pruebas; los resultados no se han verificado de forma independiente.
En un brazo Franka real, Praxis-1 completó 88 de 100 intentos en diez tareas, frente a 80 de FLUX 3 Action. En otra simulación, con una plataforma robótica que no se había incluido en su entrenamiento anterior, Praxis-1 alcanzó el 80 % tras ajustarse con unas 95 horas de datos de robots. Runway informa que RT-1, el modelo original de Google, obtuvo un 52,4 % en la misma prueba.
¿Cuáles son sus límites?
El modelo base necesita entrenamiento adicional para funcionar con un robot nuevo. La versión estándar requiere una GPU con 80 GB de memoria. Runway calcula que una versión comprimida puede funcionar en una RTX 5090 con 32 GB, aunque no se ha medido su consumo máximo de memoria. Runway también señala que Praxis-1 puede confundir objetos de aspecto similar y tener dificultades con instrucciones imprecisas. Las tareas complejas deben dividirse en pasos claros, porque el modelo todavía no puede planificar por sí solo secuencias largas de acciones de manera fiable.
Por qué importa
Los desarrolladores de robots pueden descargar Praxis-1 y examinar o adaptar su código con una licencia que permite el uso comercial, aunque el modelo base necesita entrenamiento adicional para cada robot nuevo. Los resultados de Runway son prometedores, pero la propia empresa realizó las pruebas y no se han verificado de forma independiente. Por eso, aún no está claro cómo rendirá el modelo en los entornos de otros desarrolladores ni si el preentrenamiento con videos reduce realmente la cantidad de datos necesaria.
