Microsoft a annoncé que sa gamme Azure Maia passera à des déploiements de plusieurs gigawatts à partir de 2027. Le nouvel accélérateur Maia 300 est conçu pour l’inférence nécessitant de longs contextes et un décodage intensif, et non pour l’entraînement de modèles. Microsoft affirme que le Maia 300 produira 40 % de jetons en plus par mégawatt que les principaux systèmes à base de GPU, et jusqu’à sept fois plus de jetons à l’échelle d’un rack que son prédécesseur, le Maia 200.
À quoi ressemble le Maia 300
Chaque accélérateur Maia 300 embarque huit piles de mémoire HBM4, pour un total de 288 GB de mémoire rapide et une bande passante de 18 TB/s, dans une enveloppe de puissance de 950 watts. Un rack accueille 96 accélérateurs répartis sur 24 tiroirs ; il consomme 167 kW et offre 27,6 TB de mémoire HBM ainsi qu’une bande passante cumulée de 1,7 PB/s. Les puces sont fabriquées selon le procédé N2P de TSMC et utilisent une architecture mémoire NUMA, qui permet aux logiciels de conserver les données à proximité des cœurs de calcul.
Le réseau du système repose sur un transport d’IA personnalisé sur Ethernet. Les accélérateurs peuvent communiquer directement avec n’importe quel autre accélérateur d’un « superpod » à l’échelle du rack, sans passer par le processeur hôte ni par une carte réseau distincte. Jusqu’à 128 racks peuvent être reliés pour former un superpod de 12 288 accélérateurs. Microsoft affirme que cette infrastructure réseau permet de remplacer sans interruption un tiroir défaillant par un tiroir de réserve.
Réactions aux promesses d’efficacité
L’indicateur mis en avant — le nombre de jetons par watt — a été qualifié d’« absurde » par des commentateurs, qui soulignent que la définition d’un jeton varie et que cette mesure ne tient pas compte de facteurs comme la latence ou le coût par jeton. Des critiques demandent également quelles longueurs de contexte ont été utilisées pour établir le gain de 40 %, faisant valoir que les charges de travail à long contexte sont souvent limitées par la mémoire plutôt que par la puissance de calcul.
Pourquoi c'est important
Pour les utilisateurs des propres services de Microsoft, ce nouveau matériel pourrait se traduire par des réponses plus rapides et une consommation énergétique moindre, si les gains d’efficacité annoncés se confirment. Microsoft n’a toutefois pas précisé si des clients externes pourront louer de la capacité Maia : pour l’instant, ces avantages pourraient donc rester réservés aux produits Microsoft.
