여러 기관의 연구진이 그래픽 사용자 인터페이스(GUI)와 상호작용하는 AI 에이전트를 개발·평가·훈련할 수 있는 오픈소스 플랫폼 MAI-Gym을 공개했다. 코드와 데이터, 90억 개 파라미터 모델 체크포인트를 누구나 내려받을 수 있다. MAI-Gym은 휴대전화, 데스크톱 컴퓨터, 웹 브라우저를 지원하며, 최대 20,000개의 환경을 병렬로 실행할 수 있다.
MAI-Gym은 무엇을 제공하나?
플랫폼에는 평가와 강화학습(RL) 훈련에서 에이전트의 동작이 동일하게 유지되도록 하는 공통 실행 파이프라인이 포함돼 있다. 티켓 예매, 이메일, 설정 화면 등을 다루는 검증된 작업 2,000개와 기존 벤치마크 스위트 10종도 제공한다. MAI-Gym은 새로운 모의 앱을 자동으로 생성하고, 초기화할 수 있는 환경과 여러 앱을 아우르는 가상 세계를 구축할 수도 있다. 이 환경들은 정상적으로 실행되는지 검증된다.
공개된 9B 모델의 성능
연구진은 이 프레임워크를 사용해 모바일과 데스크톱 모두에서 작동하는 통합 에이전트 MAI-Gym-9B를 훈련했다. 모델은 MobileWorld 벤치마크에서 성공률 78.4%를 기록했고, OSWorld-Verified에서는 76.2%를 달성했다. 전이 테스트에서는 모의 앱에서 티켓 예매 작업을 학습한 에이전트가 실제 휴대전화에서도 같은 작업을 수행해 성공률을 28.8%에서 48.1%로 높였다.
왜 중요한가
개발자는 이제 대규모 인프라를 직접 구축하지 않고도 휴대전화, PC, 브라우저에서 작동하는 AI 비서를 훈련할 수 있다. 공개된 데이터와 모델을 활용하면 연구자들이 새로운 아이디어를 빠르게 시험할 수 있으며, 시뮬레이션 앱에서의 훈련이 실제 환경의 성능 향상으로 이어질 수 있음을 전이 테스트 결과가 보여준다.
