L’équipe de recherche en IA de Microsoft a annoncé MAI-Base-2, un modèle de base de 2 000 milliards de paramètres. Il repose sur une architecture à experts mixtes (MoE) qui n’active que 80 milliards de neurones par requête, ce qui le rend jusqu’à 12 fois plus efficace sur le plan matériel lors de tests internes. Le modèle a été entraîné pendant 38 jours sur 16 000 puces Nvidia GB200, à partir d’un jeu de données de 50 000 milliards de jetons, qui comprend également une composante visuelle. Microsoft accordera sous licence les poids du modèle à des partenaires de confiance via Azure et s’en servira pour développer des grands modèles de langage en aval.
Pourquoi c'est important
Les développeurs qui y auront accès via Azure pourront créer des services d’IA plus performants tout en consommant moins de puissance de calcul.
