Une équipe de recherche a présenté WorldSketch, un système robotique qui demande à un modèle vision-langage (VLM) de construire une représentation simplifiée de son environnement, plutôt que de choisir directement les mouvements du robot. Le modèle repère les objets utiles à la tâche, indique comment les toucher ou les déplacer et détermine les mouvements qui pourraient être possibles. Un planificateur géométrique s’appuie ensuite sur cette représentation pour planifier les contacts et les mouvements de l’ensemble du robot.
Les chercheurs font état de taux de réussite en zéro-shot de 91% sur RoboCasa, 97% sur LIBERO-PRO et 76% pour la navigation R2R-CE. Sur RoboCasa, WorldSketch a obtenu un score supérieur de 58 points de pourcentage à celui du meilleur agent zéro-shot suivant, tout en utilisant dix fois moins de jetons d’entrée VLM. Sur LIBERO-PRO, il a devancé CaP-X de 82 points de pourcentage. En navigation, il a égalé le taux de réussite des agents VLM procédant étape par étape, avec six fois moins de jetons d’entrée. Il s’agit de résultats rapportés par les auteurs de l’article, et non d’évaluations indépendantes.
Comment le système révise-t-il son plan ?
WorldSketch ne considère pas son premier schéma comme définitif. Le VLM peut interroger des outils de perception pour vérifier ce qu’il a compris, et les retours d’exécution du robot peuvent révéler qu’une prédiction était erronée. Le système peut alors mettre à jour les parties incertaines de son modèle et réessayer. L’objectif est de fournir au planificateur suffisamment d’informations pour agir, sans demander au VLM de raisonner directement sur la géométrie précise et les contacts.
Cette approche répond à deux choix de conception courants décrits par les chercheurs : demander à un VLM de choisir parmi une bibliothèque fixe de compétences, ou lui faire générer des actions et des programmes de contrôle. Une bibliothèque fixe peut limiter les capacités du robot ; la génération directe d’actions oblige le VLM à gérer des raisonnements physiques détaillés. WorldSketch confie plutôt au VLM la construction d’un modèle adapté à la tâche, tandis que le planificateur se charge des déplacements.
L’article est une prépublication de 40 pages sur arXiv, mise en ligne le 3 novembre 2026. Son résumé présente des résultats sur trois bancs d’essai nommés, mais ne précise pas si l’évaluation a été menée avec des robots physiques ni comment le système se comporterait en dehors de ces tests. Ces résultats sont donc prometteurs dans le cadre des évaluations rapportées, mais ne prouvent pas que le système puisse être utilisé de façon fiable au quotidien dans un foyer.
Pourquoi c'est important
Pour les personnes qui s’intéressent aux robots domestiques, WorldSketch propose une autre façon de relier compréhension visuelle et mouvement : le VLM construit un modèle, puis un planificateur s’en sert pour agir. Les résultats obtenus sur les bancs d’essai sont encourageants, mais le résumé de l’article ne précise pas si le système a été testé avec des robots physiques ni avec quelle fiabilité il pourrait fonctionner dans des logements ordinaires.
