Runway выпустила Praxis-1 — модель управления роботами, веса и исходный код которой доступны по лицензии Apache 2.0, разрешающей коммерческое использование. Модель получает изображения с камер, текстовые инструкции и данные о положении робота, а затем прогнозирует, как изменится сцена и какие движения должен совершить робот. По мере поступления новых кадров с камеры она корректирует управление.
Runway впервые представила Praxis-1 в конце сентября, но сначала предоставила доступ только избранным партнёрам. С тех пор робототехнические компании Standard Bots, Noble Machines и Ultra испытали модель на разных системах: гуманоидном роботе, промышленном манипуляторе и складском роботе с двумя руками. Разработчики могут скачать её с Hugging Face, зарегистрировавшись и приняв условия доступа; код опубликован на GitHub.
Как модель показывает себя в работе?
Praxis-1 создана на основе видеомодели, обученной понимать, как движутся и взаимодействуют объекты. Runway дообучила её на видео с действиями людей и данных с роботов, рассчитывая использовать знания, полученные моделью на обычных видеозаписях. Такой подход может сократить потребность в специализированных данных с роботов, однако это пока не доказано: для адаптации Praxis-1 к манипулятору Franka Runway использовала около 277 часов записей робота DROID, а для робота с двумя руками — от 1 400 до 2 600 часов материалов.
В симуляционном тесте Nvidia RoboLab-120, где оцениваются 120 задач по сортировке, захвату и укладке предметов, Praxis-1 справилась в 46,2% случаев. При тех же условиях FLUX 3 Action показала результат 42,9%. Среди World Action Models — систем, прогнозирующих изменения сцены для управления действиями, — Praxis-1 заняла первое место, а в общем зачёте — пятое. Тестирование проводила Runway; результаты не прошли независимую проверку.
На реальном манипуляторе Franka Praxis-1 успешно выполнила 88 из 100 попыток в десяти задачах, тогда как FLUX 3 Action — 80. В отдельном симуляционном тесте на робототехнической платформе, которая не использовалась при первоначальном обучении модели, после дообучения примерно на 95 часах данных с роботов Praxis-1 достигла результата 80%. По данным Runway, оригинальная модель RT-1 от Google набрала 52,4% в том же тесте.
В чём ограничения?
Базовую модель нужно дополнительно обучать для работы с новым роботом. Стандартной версии требуется графический процессор с 80 ГБ памяти. По оценке Runway, сжатая версия может поместиться на RTX 5090 с 32 ГБ, хотя её пиковое потребление памяти ещё не измеряли. Runway также отмечает, что Praxis-1 может путать похожие на вид предметы и испытывать трудности с расплывчатыми инструкциями. Сложные задачи нужно разбивать на чёткие этапы: модель пока не умеет надёжно самостоятельно планировать длинные последовательности действий.
Почему это важно
Разработчики роботов могут скачать Praxis-1, изучить и адаптировать её код по лицензии, разрешающей коммерческое использование, однако для работы с каждым новым роботом базовую модель нужно дополнительно обучать. Результаты Runway выглядят многообещающе, но получены самой компанией и не прошли независимую проверку. Поэтому пока неясно, насколько хорошо модель покажет себя в условиях других разработчиков и действительно ли предварительное обучение на видео сокращает потребность в данных.
