Nvidia a annoncé un nouveau modèle d’IA baptisé GR00T 2. Le système observe des vidéos à la première personne montrant des tâches réalisées par des humains, puis prédit à la fois ce que le robot verra et les mouvements qu’il devra effectuer. Lors de tests en laboratoire, un robot doté de mains à cinq doigts a pu allumer une allumette, couper une banane ou lancer des colis, sans téléopération directe pour ces tâches.
Nvidia présente GR00T 2 comme un modèle d’action dans le monde (WAM). Contrairement à son prédécesseur, GR00T 1, il n’a pas besoin de commandes en langage associées à des images. Il prédit plutôt simultanément l’image vidéo suivante et la commande motrice correspondante, à l’aide d’un transformeur de diffusion qui débruite les futures images et actions.
Comment le modèle apprend
Le modèle a été entraîné sur un vaste jeu de données comprenant environ 400,000 heures de vidéos filmées avec une caméra portée sur la tête de personnes au travail, 10,184 heures de démonstrations réalisées avec une pince UMI tenue à la main et 23,500 heures de téléopération de robots. Nvidia indique que les vidéos humaines constituent la majeure partie des données et qu’en augmenter le volume fait passer le taux de réussite des robots de 50 % à 70 % sur des robots réels.
Pour apprendre une nouvelle tâche à un robot, un humain peut en montrer les étapes à l’aide de gants de capture de données ou d’un exosquelette pour les doigts. Le système remplace le bras humain dans sa prédiction vidéo par celui du robot et en extrait les commandes de contrôle correspondantes. Selon Nvidia, avec seulement quelques démonstrations, le taux de réussite est passé de 40 % à 95 % après moins de trois minutes d’entraînement classique.
Performances et limites
Dans des expériences contrôlées, un robot a réussi à enfoncer des clous à partir d’une seule vidéo humaine et a assemblé des voitures-jouets dans 97 % des essais lorsqu’il était associé à un modèle de langage de niveau supérieur comme GPT-6 Astra. Sans ce modèle de langage, le taux de réussite est tombé à 23 %. Pour les robots bipèdes, une version allégée appelée GR00T 2 Turbo fonctionne sur l’ordinateur embarqué Jetson Thor. Elle effectue une prédiction en 124 ms et peut réaliser des tâches comme servir du pop-corn, débarrasser des tables et essuyer des liquides, même si elle n’y est parvenue que dans un peu moins de la moitié des tentatives pour cette dernière tâche.
Nvidia relève plusieurs difficultés : le modèle ne peut pas encore utiliser directement des capteurs tactiles, il ne détecte parfois pas les erreurs subtiles et le modèle de langage ajoute environ sept secondes de latence à chaque étape de planification. Lors d’essais de tri des déchets, le robot est ainsi resté inactif environ un tiers du temps.
Pourquoi c'est important
Pour les fabricants, ce modèle pourrait réduire le temps et le coût nécessaires à la programmation de bras robotisés pour de nouvelles tâches, puisqu’une seule démonstration humaine pourrait suffire. Toutefois, le recours actuel à des modèles de langage externes et l’absence de détection tactile signifient que les robots ne sont pas encore prêts pour des chaînes de production totalement fiables.
