Исследователи MIT Han Lab утверждают, что обучили открытую модель рассуждения с 27 млрд параметров управлять реальными роботами с помощью обучения с подкреплением в симуляции — без примеров выполнения задач. На реальном роботе с двумя манипуляторами обученная модель успешно справилась в 60% испытаний; необученная не справилась ни разу.
Модель на базе Qwen3.8-27B также улучшила результат на бенчмарке робототехнических задач LIBERO с 1,6% до 74,4%. По словам исследователей, этот показатель приблизился к результатам GPT-6 Astra и GPT-6.1 Sol при максимальных настройках рассуждения. Это результаты оценок самих исследователей, а не независимая проверка.
Как модель управляет роботом?
Модель получает изображения с камер и данные о манипуляторе, определяет, что нужно сделать, а затем задаёт его следующую позицию. Контроллер робота преобразует эту позицию в движение. Исследователи сравнивают такую схему с агентом для управления компьютером, который смотрит на экран и нажимает кнопки, но отмечают, что их система не использует дополнительные инструменты распознавания, планировщики движения или заранее заданные навыки.
Для обучения применялось обучение робота с подкреплением: модель выполняла задачи в симулированной среде и училась на результатах. Программное обеспечение PEAR от команды предоставляет инфраструктуру для обучения, в том числе симуляции и инструменты оценки. MIT Han Lab сообщает, что опубликовала модель, код и инфраструктуру для обучения.
Переносится ли обучение из симуляции на реального робота?
По данным исследователей, модель смогла применить полученные навыки на реальном роботе, другом роботе и при выполнении инструкций, с которыми не сталкивалась во время обучения. На LIBERO-Pro, где проверяются изменения целей и расположения объектов, их модель успешно выполнила 57,4% эпизодов с новой задачей в знакомой сцене. Модель π0.5, обученная на демонстрациях, справилась в таких условиях в 0,75% случаев.
Это испытание отличается от простого повторения знакомых задач. На LIBERO исследователи оценили модели в 2 000 эпизодах. Они также сообщают, что после обучения управлению роботами результаты по девяти бенчмаркам рассуждения, программирования и компьютерного зрения не снизились. Статья опубликована как препринт на arXiv, а результаты не показывают, насколько хорошо система будет работать в повседневных условиях или на других роботах и в иных сценариях.
Почему это важно
Опубликованные модель, код и инфраструктура обучения PEAR позволят исследователям робототехники изучить, может ли обучение в симуляции уменьшить потребность в демонстрациях выполнения задач. Результат на реальном роботе выглядит многообещающе, но не показывает, насколько надёжно система будет работать за пределами испытанных робота и задач.