Microsoft ha annunciato che, a partire dal 2027, la famiglia Azure Maia sarà distribuita su scala multi-gigawatt. Il nuovo acceleratore Maia 300 è progettato per l’inferenza con contesti lunghi e un’intensa fase di decodifica, non per l’addestramento dei modelli. Secondo Microsoft, Maia 300 offrirà il 40% di token in più per megawatt rispetto ai principali sistemi basati su GPU e una capacità di elaborazione dei token su rack fino a sette volte superiore a quella del predecessore, Maia 200.
Com’è fatto Maia 300
Ogni acceleratore Maia 300 integra otto stack di memoria HBM4, per un totale di 288 GB di memoria ad alta velocità e una larghezza di banda di 18 TB/s, con un assorbimento massimo di 950 watt. Un rack ospita 96 acceleratori distribuiti su 24 vassoi, consuma 167 kW e offre 27,6 TB di HBM e una larghezza di banda aggregata di 1,7 PB/s. I chip sono realizzati con il processo N2P di TSMC e adottano un’architettura di memoria NUMA, così che il software possa mantenere i dati vicini ai core di calcolo.
La rete del sistema utilizza un protocollo di trasporto AI personalizzato su Ethernet. Gli acceleratori possono comunicare direttamente con qualsiasi altro acceleratore in un «superpod» a livello di rack, senza passare da una CPU host o da una scheda di rete separata. È possibile collegare fino a 128 rack, formando un superpod da 12.288 acceleratori. Microsoft afferma che questa rete consente di sostituire senza interruzioni un vassoio guasto con uno di riserva.
Le reazioni alla dichiarazione sull’efficienza
La metrica di punta — i token per watt — è stata definita «assurda» da alcuni commentatori, che osservano come le definizioni di token varino e la metrica non tenga conto di fattori come la latenza o il costo per token. I critici chiedono anche quali lunghezze di contesto siano state usate per calcolare il miglioramento del 40%, sottolineando che i carichi di lavoro con contesti lunghi sono spesso limitati dalla memoria, non dalla capacità di calcolo.
Perché conta
Per chi usa i servizi di Microsoft, il nuovo hardware potrebbe tradursi in risposte più rapide e minori consumi energetici, se l’efficienza dichiarata sarà confermata. Microsoft, però, non ha specificato se i clienti esterni potranno noleggiare capacità Maia: per ora, quindi, i vantaggi potrebbero restare limitati ai prodotti Microsoft.
