Microsoft heeft aangekondigd dat de Azure Maia-familie vanaf 2027 op schaal van meerdere gigawatt wordt ingezet. De nieuwe Maia 300-accelerator is bedoeld voor inferentietaken met lange contexten en intensieve decodering, niet voor het trainen van modellen. Microsoft zegt dat de Maia 300 40% meer tokens per megawatt levert dan toonaangevende systemen op basis van GPU's, en tot zeven keer zoveel tokens per rack kan verwerken als zijn voorganger, de Maia 200.
De Maia 300 in cijfers
Elke Maia 300-accelerator bevat acht HBM4-geheugenstacks, goed voor 288 GB snel geheugen en een bandbreedte van 18 TB/s binnen een vermogenslimiet van 950 watt. Een rack bevat 96 accelerators verdeeld over 24 trays, verbruikt 167 kW en biedt 27.6 TB HBM en een totale bandbreedte van 1.7 PB/s. De chips zijn gemaakt met TSMC’s N2P-procedé en gebruiken een NUMA-geheugenindeling, zodat software gegevens dicht bij de rekencores kan houden.
Het netwerk van het systeem gebruikt een aangepast AI-transportprotocol op Ethernet. Accelerators kunnen rechtstreeks communiceren met elke andere accelerator in een ‘superpod’ op rackniveau, zonder tussenkomst van een host-CPU of aparte NIC. Er kunnen maximaal 128 racks worden gekoppeld, samen goed voor een superpod met 12,288 accelerators. Volgens Microsoft maakt dit netwerk het mogelijk een defecte tray ongemerkt te vervangen door een reservetray.
Kritiek op de efficiëntieclaim
De belangrijkste maatstaf — tokens per watt — is door commentatoren ‘absurd’ genoemd. Zij wijzen erop dat de definitie van een token kan verschillen en dat de maatstaf geen rekening houdt met factoren als latentie of kosten per token. Critici vragen ook welke contextlengtes zijn gebruikt voor de claim van 40% verbetering. Ze merken op dat workloads met lange contexten vaak worden beperkt door het geheugen, niet door de rekenkracht.
Waarom het ertoe doet
Voor gebruikers van Microsofts eigen diensten kan de nieuwe hardware zorgen voor snellere reacties en lagere energiekosten, als de geclaimde efficiëntie klopt. Microsoft heeft echter niet gezegd of externe klanten Maia-capaciteit kunnen huren. Voorlopig blijft het voordeel dus mogelijk beperkt tot Microsoft-producten.
