Une équipe de chercheurs issus de plusieurs établissements a lancé MAI-Gym, une plateforme open source pour créer, tester et entraîner des agents IA capables d’interagir avec des interfaces graphiques (GUI). Le code, les données et un point de contrôle de modèle de 9 milliards de paramètres sont disponibles dès maintenant en téléchargement. MAI-Gym fonctionne sur les téléphones mobiles, les ordinateurs de bureau et les navigateurs web, et peut exécuter jusqu’à 20,000 environnements en parallèle.
Que propose MAI-Gym ?
La plateforme comprend un pipeline de déroulement commun qui garantit que les agents se comportent de la même façon lors de l’évaluation et de l’entraînement par apprentissage par renforcement (RL). Elle est livrée avec dix suites de benchmarks reconnues et 2,000 tâches vérifiées portant sur des applications comme la réservation de billets, le courrier électronique et les écrans de paramètres. MAI-Gym peut aussi générer automatiquement de nouvelles applications fictives, en créant des environnements réinitialisables et des univers réunissant plusieurs applications, dont le bon fonctionnement est vérifié.
Résultats du modèle 9B publié
À l’aide de cette plateforme, les auteurs ont entraîné MAI-Gym-9B, un agent polyvalent pour les appareils mobiles et les ordinateurs de bureau. Le modèle a obtenu un taux de réussite de 78.4 % sur le benchmark MobileWorld et de 76.2 % sur OSWorld-Verified. Lors d’un test de transfert, l’agent a appris à réserver un billet dans une application simulée, puis a effectué la même tâche sur un véritable téléphone : son taux de réussite est passé de 28.8 % à 48.1 %.
Pourquoi c'est important
Les développeurs peuvent désormais entraîner des assistants IA fonctionnant sur les téléphones, les PC et les navigateurs, sans avoir à créer eux-mêmes une infrastructure massive. Les données et le modèle ouverts permettent aux chercheurs de tester rapidement de nouvelles idées, et le résultat du test de transfert laisse penser que l’entraînement dans des applications simulées peut améliorer les performances dans le monde réel.
