Les chercheurs du MIT Han Lab affirment avoir entraîné un modèle de raisonnement open source de 27 milliards de paramètres à piloter de vrais robots grâce à l’apprentissage par renforcement en simulation, sans lui montrer comment accomplir les tâches. Sur un vrai robot à deux bras, le modèle entraîné a réussi 60 % des essais ; le modèle non entraîné n’en a réussi aucun.
Basé sur Qwen3.8-27B, le modèle est également passé de 1,6 % à 74,4 % sur le benchmark de tâches robotiques LIBERO. Les chercheurs indiquent que ce résultat se rapproche de ceux de GPT-6 Astra et GPT-6.1 Sol lorsque ces modèles fonctionnaient avec leurs paramètres de raisonnement les plus poussés. Ces résultats proviennent des évaluations des chercheurs et n’ont pas fait l’objet d’une vérification indépendante.
Comment pilote-t-il un robot ?
Le modèle reçoit des images des caméras ainsi que des informations sur le bras du robot, détermine la marche à suivre, puis indique la prochaine position du bras. Un contrôleur robotique transforme cette position en mouvement. Les chercheurs comparent ce fonctionnement à celui d’un agent qui utilise un ordinateur en regardant l’écran et en cliquant, mais précisent que leur système ne fait appel à aucune couche supplémentaire d’outils de perception, de planificateurs de mouvement ou de compétences préprogrammées.
L’entraînement s’est appuyé sur l’apprentissage par renforcement pour le pilotage de robots : le modèle a essayé des tâches dans des environnements simulés et a appris en fonction de ses réussites. Le logiciel PEAR de l’équipe fournit l’infrastructure d’entraînement, notamment les simulations et les outils d’évaluation. Le MIT Han Lab indique avoir publié le modèle, le code et l’infrastructure d’entraînement.
L’entraînement en simulation se transpose-t-il au réel ?
Les chercheurs indiquent que le modèle a transposé ses compétences sur un vrai robot, un autre robot et des consignes qu’il n’avait pas rencontrées pendant l’entraînement. Sur LIBERO-Pro, qui teste des changements d’objectifs et de disposition des objets, leur modèle a réussi 57,4 % des épisodes portant sur une nouvelle tâche dans une scène familière. Dans la même situation, le modèle π0.5, entraîné à partir de démonstrations, a réussi 0,75 % des épisodes.
Ce test est différent d’une simple répétition de tâches familières. Sur LIBERO, les chercheurs ont évalué les modèles sur 2 000 épisodes. Ils indiquent également n’avoir constaté aucune baisse mesurable sur neuf benchmarks de raisonnement, de programmation et de vision après l’entraînement robotique. L’article est une prépublication sur arXiv, et ces résultats ne permettent pas d’établir les performances du système dans la vie quotidienne ni avec d’autres robots ou dans d’autres contextes.
Pourquoi c'est important
Les chercheurs en robotique peuvent utiliser le modèle, le code et l’infrastructure d’entraînement PEAR mis à disposition pour étudier si l’entraînement en simulation peut réduire le besoin de démonstrations des tâches. Le résultat obtenu sur un vrai robot est prometteur, mais ne montre pas avec quelle fiabilité le système fonctionnerait avec d’autres robots ou pour d’autres tâches que celles testées.