Runway a publié Praxis-1, un modèle de commande robotique dont les poids et le code source sont accessibles sous licence Apache 2.0, qui autorise l’usage commercial. Le modèle reçoit des images de caméra, des instructions textuelles et des informations sur la position du robot, puis prédit l’évolution de la scène et les mouvements que le robot devrait effectuer. Il ajuste ses commandes à mesure que de nouvelles images lui parviennent.
Runway a présenté Praxis-1 pour la première fois fin septembre, en le réservant d’abord à des partenaires sélectionnés. Les entreprises de robotique Standard Bots, Noble Machines et Ultra l’ont depuis testé sur différents systèmes, dont un robot humanoïde, un bras industriel et un robot d’entrepôt à deux bras. Les développeurs peuvent le télécharger sur Hugging Face après s’être inscrits et avoir accepté les conditions d’accès ; son code est disponible sur GitHub.
Quelles sont ses performances ?
Praxis-1 s’appuie sur un modèle vidéo entraîné à comprendre comment les objets se déplacent et interagissent. Runway l’a affiné à partir de vidéos d’actions humaines et de données robotiques, dans le but de tirer parti de ce qu’il a appris à partir de séquences ordinaires. Cette approche pourrait réduire la quantité de données propres aux robots nécessaire, mais cela n’a pas encore été établi : Runway a tout de même utilisé environ 277 heures d’enregistrements du robot DROID pour adapter Praxis-1 à un bras Franka, et de 1 400 à 2 600 heures de données pour un robot à deux bras.
Dans RoboLab-120, le test de simulation de Nvidia qui évalue 120 tâches de tri, de préhension et d’empilement d’objets, Praxis-1 a obtenu un taux de réussite de 46,2 %. FLUX 3 Action a atteint 42,9 % dans les mêmes conditions. Praxis-1 est arrivé en tête des World Action Models, une catégorie de systèmes qui prédisent l’évolution d’une scène pour guider les actions, et cinquième au classement général. Les tests ont été réalisés par Runway ; les résultats n’ont pas été vérifiés indépendamment.
Sur un véritable bras Franka, Praxis-1 a réussi 88 tentatives sur 100, réparties entre dix tâches, contre 80 pour FLUX 3 Action. Dans une simulation distincte, avec une plateforme robotique exclue de son entraînement antérieur, Praxis-1 a atteint 80 % après un affinage réalisé à partir d’environ 95 heures de données robotiques. Runway indique que le modèle RT-1 original de Google a obtenu 52,4 % au même test.
Quelles sont ses limites ?
Le modèle de base doit être entraîné davantage pour fonctionner avec un nouveau robot. La version standard nécessite un GPU doté de 80 Go de mémoire. Runway estime qu’une version compressée peut fonctionner sur une RTX 5090 avec 32 Go, bien que sa consommation maximale de mémoire n’ait pas été mesurée. Runway indique également que Praxis-1 peut confondre des objets d’apparence similaire et avoir du mal à interpréter des instructions vagues. Les tâches complexes doivent être décomposées en étapes claires, car le modèle n’est pas encore capable de planifier de façon fiable de longues séquences d’actions de manière autonome.
Pourquoi c'est important
Les développeurs en robotique peuvent télécharger Praxis-1 et examiner ou adapter son code sous une licence autorisant l’usage commercial, même si le modèle de base doit être entraîné davantage pour chaque nouveau robot. Les résultats annoncés par Runway sont prometteurs, mais ils proviennent de tests réalisés par l’entreprise et n’ont pas été vérifiés indépendamment. On ignore donc encore dans quelle mesure le modèle fonctionnera dans les environnements d’autres développeurs, ou si le préentraînement vidéo réduit réellement les besoins en données.
