Een team onderzoekers van verschillende instellingen heeft MAI-Gym uitgebracht, een opensourceplatform voor het bouwen, testen en trainen van AI-agenten die met grafische gebruikersinterfaces (GUI’s) werken. De code, data en een modelcheckpoint met 9 miljard parameters zijn nu voor iedereen te downloaden. MAI-Gym werkt met mobiele telefoons, desktopcomputers en webbrowsers en kan tot 20.000 omgevingen parallel uitvoeren.
Wat biedt MAI-Gym?
Het platform bevat een gedeelde rollout-pipeline die ervoor zorgt dat agenten zich tijdens evaluaties hetzelfde gedragen als tijdens reinforcement learning (RL). Ook zijn er tien gevestigde benchmarksets en 2.000 geverifieerde taken, voor onder meer apps voor ticketboekingen, e-mail en instellingen. MAI-Gym kan bovendien automatisch nieuwe demo-apps genereren, met omgevingen die kunnen worden teruggezet naar de beginsituatie en scenario’s die meerdere apps combineren. De correcte uitvoering daarvan wordt gecontroleerd.
Resultaten met het vrijgegeven 9B-model
Met het framework trainden de onderzoekers MAI-Gym-9B, een agent voor zowel mobiel als desktopgebruik. Op de benchmark MobileWorld behaalde het model een succespercentage van 78,4%; op OSWorld-Verified was dat 76,2%. In een overdrachtstest leerde de agent een taak voor het boeken van tickets in een nagebootste app en voerde diezelfde taak vervolgens uit op een echte telefoon. Het succespercentage steeg daarmee van 28,8% naar 48,1%.
Waarom het ertoe doet
Ontwikkelaars kunnen nu AI-assistenten trainen die op telefoons, pc’s en in browsers werken, zonder zelf een omvangrijke infrastructuur te hoeven bouwen. Dankzij de open data en het model kunnen onderzoekers snel nieuwe ideeën testen. De resultaten van de overdrachtstest wijzen erop dat training in gesimuleerde apps de prestaties in de echte wereld kan verbeteren.
