Nvidia представила новую ИИ-модель GR00T 2. Она анализирует видео от первого лица, на котором люди выполняют разные задачи, а затем предсказывает, что увидит робот и как ему следует двигаться. В лабораторных испытаниях робот с пятипалыми руками смог зажечь спичку, нарезать банан и бросать посылки — без дистанционного управления при выполнении этих задач.
Nvidia называет GR00T 2 моделью мира и действий (WAM). В отличие от предшественницы GR00T 1, ей не нужны текстовые команды, сопоставленные с изображениями. Вместо этого модель одновременно предсказывает следующий видеокадр и соответствующую команду для моторов: для этого диффузионный трансформер очищает от шума прогнозируемые видео и действия.
Как обучают модель
Модель обучали на огромном наборе данных: около 400,000 часов видео с наголовных камер, снятого во время работы людей, 10,184 часа демонстраций с ручным захватом UMI и 23,500 часов дистанционного управления роботами. По словам Nvidia, основную часть данных составляет видео с участием людей. Увеличение его объёма повышает успешность выполнения задач роботами в реальных условиях с 50 % до 70 %.
Чтобы научить нового робота выполнять задачу, человек может показать нужные действия в перчатках с датчиками или экзоскелете для пальцев. Система заменяет руку человека на руку робота в прогнозируемом видео и извлекает соответствующие команды управления. По данным Nvidia, после всего нескольких демонстраций и менее чем трёх минут традиционного обучения успешность выросла с 40 % до 95 %.
Результаты и ограничения
В контролируемых экспериментах робот забивал гвозди, обучившись по одному видео с человеком, а в паре с языковой моделью более высокого уровня, например GPT-6 Astra, собирал игрушечные машинки в 97 % испытаний. Без языковой модели успешность снижалась до 23 %. Для двуногих роботов предусмотрена облегчённая версия GR00T 2 Turbo: она работает на бортовом компьютере Jetson Thor, выдаёт прогноз за 124 ms и справляется с такими задачами, как зачерпывание попкорна, уборка со столов и вытирание жидкостей. Однако вытереть жидкость роботу удавалось менее чем в половине попыток.
Nvidia отмечает несколько препятствий: модель пока не умеет использовать прямые данные от тактильных датчиков, иногда не замечает мелкие ошибки, а языковая модель добавляет около семи секунд задержки на каждый этап планирования. В испытаниях по сортировке мусора из-за этого робот простаивал примерно треть времени.
Почему это важно
Для производителей эта модель может сократить время и расходы на программирование роботизированных рук для новых задач: возможно, достаточно будет одной демонстрации человека. Однако зависимость от внешних языковых моделей и отсутствие тактильных датчиков означают, что роботы пока не готовы к полностью надёжной работе на производственных линиях.
