Nvidia anunció un nuevo modelo de IA llamado GR00T 2. El sistema observa videos en primera persona de personas realizando tareas y luego predice tanto lo que verá el robot como la forma en que debe moverse. En pruebas de laboratorio, un robot con manos de cinco dedos pudo encender un fósforo, cortar una banana o lanzar paquetes sin control remoto directo para esas tareas.
Nvidia describe GR00T 2 como un modelo de acción del mundo (WAM). A diferencia de su predecesor, GR00T 1, no necesita instrucciones en lenguaje emparejadas con imágenes. En cambio, predice al mismo tiempo el siguiente fotograma del video y la orden motriz correspondiente, mediante un transformador de difusión que elimina el ruido de videos y acciones futuras.
Cómo aprende el modelo
El modelo se entrenó con un conjunto de datos enorme que incluye unas 400.000 horas de videos de personas trabajando, grabados con cámaras montadas en la cabeza; 10.184 horas de demostraciones con una pinza UMI manual; y 23.500 horas de teleoperación de robots. Nvidia afirma que los videos humanos constituyen la mayor parte de los datos y que aumentar su volumen mejora del 50 % al 70 % el éxito de los robots en tareas reales.
Cuando un robot nuevo tiene que aprender una tarea, una persona puede demostrarle los pasos con guantes de captura de datos o un exoesqueleto para los dedos. El sistema sustituye el brazo humano por el del robot en la predicción del video y extrae las órdenes de control correspondientes. Nvidia informa que, con apenas unas pocas demostraciones, las tasas de éxito aumentaron del 40 % al 95 % tras menos de tres minutos de entrenamiento convencional.
Rendimiento y limitaciones
En experimentos controlados, un robot clavó clavos tras observar un solo video humano y ensambló autos de juguete en el 97 % de las pruebas cuando se combinó con un modelo de lenguaje de nivel superior, como GPT-6 Astra. Sin el modelo de lenguaje, el éxito cayó al 23 %. En robots bípedos, una versión más compacta llamada GR00T 2 Turbo funciona en la computadora integrada Jetson Thor, tarda 124 ms en cada predicción y realiza tareas como servir palomitas, despejar mesas y limpiar líquidos, aunque logró limpiar líquidos en menos de la mitad de los intentos.
Nvidia señala varios obstáculos: el modelo todavía no puede usar sensores táctiles directos, a veces no detecta errores sutiles y el modelo de lenguaje añade una latencia de unos siete segundos por paso de planificación, lo que deja al robot inactivo aproximadamente un tercio del tiempo en pruebas de clasificación de basura.
Por qué importa
Para los fabricantes, el modelo podría reducir el tiempo y el costo de programar brazos robóticos para nuevas tareas, ya que quizá baste una sola demostración humana. Sin embargo, la necesidad actual de modelos de lenguaje externos y la falta de sensores táctiles indican que los robots aún no están listos para líneas de producción totalmente fiables.
