Microsoft hat angekündigt, die Azure-Maia-Familie ab 2027 auf Einsätze im Multi-Gigawatt-Bereich zu skalieren. Der neue Beschleuniger Maia 300 ist für Inferenzaufgaben mit langen Kontexten und aufwendiger Dekodierung ausgelegt, nicht für das Training von Modellen. Laut Microsoft liefert Maia 300 40 % mehr Tokens pro Megawatt als führende GPU-basierte Systeme und bietet bis zu siebenmal so viel Token-Durchsatz auf Rack-Ebene wie sein Vorgänger Maia 200.
So ist Maia 300 aufgebaut
Jeder Maia-300-Beschleuniger verfügt über acht HBM4-Speicherstapel mit insgesamt 288 GB schnellem Speicher und einer Bandbreite von 18 TB/s. Die Leistungsaufnahme liegt bei 950 W. Ein Rack umfasst 96 Beschleuniger auf 24 Einschüben, benötigt 167 kW und bietet 27,6 TB HBM sowie eine Gesamtbandbreite von 1,7 PB/s. Die Chips werden im N2P-Verfahren von TSMC gefertigt und nutzen eine NUMA-Speicherarchitektur, damit die Software Daten in der Nähe der Rechenkerne halten kann.
Für die Vernetzung kommt ein spezielles KI-Transportprotokoll auf Ethernet-Basis zum Einsatz. Die Beschleuniger können in einem rackweiten „Superpod“ direkt mit jedem anderen Gerät kommunizieren, ohne dafür eine Host-CPU oder separate Netzwerkkarte zu benötigen. Bis zu 128 Racks lassen sich zu einem Superpod mit 12.288 Beschleunigern verbinden. Laut Microsoft ermöglicht dieses Netzwerk, einen ausgefallenen Einschub nahtlos durch einen Reserveeinschub zu ersetzen.
Kritik an der Effizienzangabe
Die zentrale Kennzahl – Tokens pro Watt – wurde von Kommentatoren als „absurd“ bezeichnet. Sie weisen darauf hin, dass der Begriff „Token“ unterschiedlich definiert wird und die Kennzahl Faktoren wie Latenz oder Kosten pro Token außer Acht lässt. Kritiker fragen außerdem, welche Kontextlängen der Angabe einer Verbesserung um 40 % zugrunde liegen. Bei Aufgaben mit langen Kontexten ist häufig eher der Speicher als die Rechenleistung der begrenzende Faktor.
Warum es wichtig ist
Für Nutzer der eigenen Dienste von Microsoft könnte die neue Hardware schnellere Antworten und geringere Energiekosten bedeuten – sofern sich die Effizienzangaben bestätigen. Microsoft hat jedoch nicht mitgeteilt, ob externe Kunden Maia-Kapazitäten mieten können. Vorerst könnte der Nutzen daher auf Microsoft-Produkte beschränkt bleiben.
