Команда под руководством Кёнгина Байка представила SimVLA — систему для обучения моделей «зрение — язык — действие» (VLA) исключительно на симулированных данных о работе роботов. Сначала модель обучается на двух крупных наборах данных, созданных в симуляции: SimAction, охватывающем 35 задач мобильной манипуляции, и SimVQA, который дополняет его подробной визуально-языковой разметкой. Затем SimVLA дополнительно обучают на траекториях, полученных в симуляции, и проверяют на реальных задачах — например, пополнении запасов на полках, переливании жидкостей и уборке. В этих испытаниях модель показала результаты лучше, чем алгоритмы, обученные на 50 реальных демонстрациях, что говорит о возможности заменить симуляцией дорогостоящий сбор данных в реальных условиях.
Почему это важно
Если роботы смогут учиться только на симуляциях, производители смогут быстрее и дешевле разрабатывать домашних помощников.
