Microsoft meddelade att Azure Maia-familjen ska skalas upp till flera gigawatt från och med 2027. Den nya acceleratorn Maia 300 är byggd för inferensarbete med långa kontexter och omfattande avkodning, inte för att träna modeller. Microsoft uppger att Maia 300 ska leverera 40 % fler token per megawatt än ledande GPU-baserade system och upp till sju gånger så hög tokenkapacitet på racknivå som föregångaren Maia 200.
Så är Maia 300 utformad
Varje Maia 300-accelerator har åtta HBM4-minnesstackar, vilket ger 288 GB snabbt minne och en bandbredd på 18 TB/s inom en effektbudget på 950 watt. Ett rack rymmer 96 acceleratorer i 24 lådor, drar 167 kW och erbjuder 27,6 TB HBM-minne samt en sammanlagd bandbredd på 1,7 PB/s. Kretsarna tillverkas med TSMC:s N2P-process och använder en NUMA-minneslayout, så att programvaran kan hålla data nära beräkningskärnorna.
Systemets nätverk använder en specialutvecklad AI-transportlösning över Ethernet. Acceleratorerna kan kommunicera direkt med alla andra i ett rackbaserat ”superpod”, utan att gå via en värdprocessor eller ett separat nätverkskort. Upp till 128 rack kan kopplas samman till ett superpod med 12 288 acceleratorer. Microsoft säger att nätverket gör det möjligt att byta ut en trasig låda mot en reservlåda utan avbrott.
Reaktioner på effektivitetslöftet
Det centrala måttet – token per watt – har kallats ”absurt” av kommentatorer som påpekar att definitionen av en token varierar och att måttet bortser från faktorer som svarstid och kostnad per token. Kritiker frågar också vilka kontextlängder som användes för påståendet om 40 % förbättring och framhåller att arbetslaster med långa kontexter ofta begränsas av minnet snarare än av beräkningskapaciteten.
Varför det spelar roll
För användare av Microsofts egna tjänster kan den nya hårdvaran innebära snabbare svar och lägre energikostnader, om effektivitetslöftet håller. Microsoft har dock inte sagt om externa kunder kommer att kunna hyra Maia-kapacitet, så nyttan kan tills vidare bli begränsad till Microsofts egna produkter.
