Команда исследователей из нескольких организаций выпустила MAI-Gym — платформу с открытым исходным кодом для создания, тестирования и обучения ИИ-агентов, взаимодействующих с графическими пользовательскими интерфейсами (GUI). Код, данные и чекпойнт модели с 9 млрд параметров уже доступны для скачивания. MAI-Gym работает со смартфонами, настольными компьютерами и веб-браузерами и поддерживает до 20 000 параллельных сред.
Что предлагает MAI-Gym?
В платформу входит единый конвейер выполнения заданий, который обеспечивает одинаковое поведение агента при оценке и обучении с подкреплением (RL). В комплект также входят десять известных наборов тестов и 2 000 проверенных задач для приложений, например сервисов бронирования билетов, электронной почты и экранов настроек. Кроме того, MAI-Gym может автоматически создавать новые имитационные приложения, формируя среды с возможностью сброса и сценарии взаимодействия между приложениями; корректность их работы проверяется.
Результаты выпущенной модели 9B
С помощью платформы авторы обучили MAI-Gym-9B — универсального агента для работы с мобильными и настольными устройствами. На тесте MobileWorld модель показала успешность 78,4 %, а на OSWorld-Verified — 76,2 %. В тесте на перенос навыков агент сначала научился бронировать билеты в имитационном приложении, а затем выполнил ту же задачу на реальном телефоне: показатель успешности вырос с 28,8 % до 48,1 %.
Почему это важно
Теперь разработчики могут обучать ИИ-помощников для работы со смартфонами, компьютерами и браузерами, не создавая собственную масштабную инфраструктуру. Открытые данные и модель позволяют исследователям быстрее проверять новые идеи, а результаты переноса навыков показывают, что обучение в имитационных приложениях может улучшить работу в реальных условиях.
