A Runway lançou o Praxis-1, um modelo de controle robótico cujos pesos e código-fonte estão disponíveis sob a licença Apache 2.0, que permite uso comercial. O modelo recebe imagens de câmeras, instruções em texto e informações sobre a posição do robô; em seguida, prevê como a cena vai mudar e quais movimentos o robô deve fazer. Ele ajusta os comandos à medida que recebe novos quadros da câmera.
A Runway apresentou o Praxis-1 pela primeira vez no fim de setembro e, inicialmente, compartilhou o modelo apenas com parceiros selecionados. Desde então, as empresas de robótica Standard Bots, Noble Machines e Ultra o testaram em diferentes sistemas, incluindo um robô humanoide, um braço industrial e um robô de armazém com dois braços. Desenvolvedores podem baixá-lo no Hugging Face após se cadastrarem e aceitarem os termos de acesso; o código está no GitHub.
Qual é o desempenho?
O Praxis-1 se baseia em um modelo de vídeo treinado para entender como objetos se movem e interagem. A Runway o ajustou com vídeos de ações humanas e dados de robôs, com o objetivo de aproveitar o que o modelo aprendeu com vídeos comuns. Essa abordagem pode reduzir a quantidade necessária de dados específicos de robôs, mas isso ainda não foi comprovado: a Runway usou cerca de 277 horas de gravações de robôs DROID para adaptar o Praxis-1 a um braço Franka, além de 1.400 a 2.600 horas de material para um robô com dois braços.
No benchmark de simulação RoboLab-120 da Nvidia, que testa 120 tarefas de separação, agarramento e empilhamento de objetos, o Praxis-1 teve uma taxa de sucesso de 46,2%. O FLUX 3 Action obteve 42,9% nas mesmas condições. O Praxis-1 ficou em primeiro lugar entre os World Action Models, uma categoria de sistemas que prevê como uma cena vai mudar para orientar ações, e em quinto lugar no ranking geral. Os testes foram conduzidos pela Runway; os resultados não foram verificados de forma independente.
Em um braço Franka real, o Praxis-1 concluiu 88 de 100 tentativas em dez tarefas, contra 80 do FLUX 3 Action. Em uma simulação separada, com uma plataforma robótica que não havia sido incluída no treinamento anterior, o Praxis-1 alcançou 80% após ser ajustado com cerca de 95 horas de dados de robôs. A Runway informa que o RT-1 original do Google obteve 52,4% no mesmo benchmark.
Quais são as limitações?
O modelo-base precisa de treinamento adicional para funcionar com um novo robô. A versão padrão exige uma GPU com 80 GB de memória. A Runway estima que uma versão comprimida pode rodar em uma RTX 5090 com 32 GB, embora o pico de uso de memória ainda não tenha sido medido. A empresa também diz que o Praxis-1 pode confundir objetos parecidos e ter dificuldade com instruções vagas. Tarefas complexas precisam ser divididas em etapas claras, pois o modelo ainda não consegue planejar com confiabilidade sequências longas de ações por conta própria.
Por que importa
Desenvolvedores de robôs podem baixar o Praxis-1 e consultar ou adaptar seu código sob uma licença que permite uso comercial, embora o modelo-base precise de treinamento extra para cada novo robô. Os resultados da Runway são promissores, mas foram obtidos pela própria empresa e não foram verificados de forma independente. Portanto, ainda não está claro como o modelo vai se sair em outros contextos de desenvolvimento nem se o pré-treinamento com vídeos realmente reduz a necessidade de dados.
