複数の研究機関に所属する研究者らが、グラフィカルユーザーインターフェース（GUI）を操作するAIエージェントの開発、テスト、訓練に使えるオープンソースのプラットフォーム「MAI-Gym」を公開した。コード、データ、9-billion-parameterのモデルチェックポイントは、誰でもダウンロードできる。MAI-Gymはスマートフォン、デスクトップPC、ウェブブラウザーに対応し、最大20,000個の環境を並列実行できる。
MAI-Gymでできること
このプラットフォームには、評価時と強化学習（RL）による訓練時でエージェントの動作を同一に保つ、共通のロールアウト用パイプラインが含まれる。チケット予約、メール、設定画面などのアプリを対象に、実績のある10種類のベンチマークスイートと、検証済みの2,000のタスクを利用できる。また、MAI-Gymは新たな模擬アプリを自動で生成し、リセット可能な環境や、複数のアプリをまたぐ環境を作成する。これらは正しく動作するか検証される。
公開された9Bモデルの成果
研究者らはこのフレームワークを使い、モバイルとデスクトップの両方で動作する統合エージェント「MAI-Gym-9B」を訓練した。MobileWorldベンチマークでの成功率は78.4 %、OSWorld-Verifiedでは76.2 %だった。転移テストでは、模擬アプリでチケット予約タスクを学習したエージェントが、実機のスマートフォンでも同じタスクを実行。成功率は28.8 %から48.1 %に上昇した。
なぜ重要か
開発者は、大規模なインフラを独自に構築しなくても、スマートフォン、PC、ブラウザーを横断して動作するAIアシスタントを訓練できる。公開されたデータとモデルにより、研究者は新たなアイデアをすばやく試せるうえ、模擬アプリでの訓練が実環境での性能向上につながる可能性も、転移テストの結果から示されている。
