Microsoft, Azure Maia’yı 2027’de çok gigavatlı ölçeğe taşıyor

Microsoft, Azure Maia ailesinin 2027’den itibaren çok gigavatlı dağıtımlara ölçekleneceğini duyurdu. Yeni Maia 300 hızlandırıcısı, model eğitimi için değil; uzun bağlam ve yoğun çözümleme gerektiren çıkarım işleri için tasarlandı. Microsoft, Maia 300’ün önde gelen GPU tabanlı sistemlere kıyasla megavat başına %40 daha fazla token üreteceğini ve önceki modeli Maia 200’ün raf ölçeğindeki token aktarım hızını yedi kata kadar çıkaracağını söylüyor.

Maia 300 nasıl bir sistem?

Her Maia 300 hızlandırıcısında sekiz HBM4 bellek yığını bulunuyor. Böylece 950 watt’lık güç sınırı içinde 288 GB hızlı bellek ve 18 TB/s bant genişliği sunuluyor. Bir rafta 24 tepsiye dağıtılmış 96 hızlandırıcı yer alıyor; sistem 167 kW güç tüketirken 27.6 TB HBM ve toplamda 1.7 PB/s bant genişliği sağlıyor. Çipler TSMC’nin N2P üretim sürecini kullanıyor ve yazılımın verileri işlem çekirdeklerine yakın tutabilmesi için NUMA bellek düzeniyle çalışıyor.

Sistemin ağ bağlantısı, Ethernet üzerinde çalışan özel bir yapay zekâ aktarım teknolojisini kullanıyor. Hızlandırıcılar, ana makine işlemcisine veya ayrı bir ağ kartına gerek duymadan raf ölçeğindeki “superpod” içinde doğrudan birbirleriyle iletişim kurabiliyor. En fazla 128 raf birbirine bağlanarak 12,288 hızlandırıcılı bir superpod oluşturabiliyor. Microsoft, bu ağ yapısının arızalı bir tepsinin yedek tepsiyle kesintisiz biçimde değiştirilmesini sağladığını söylüyor.

Verimlilik iddiasına tepkiler

Başlıca ölçüt olarak öne çıkarılan watt başına token değeri, token tanımlarının değişebildiğine ve ölçütün gecikme ya da token başına maliyet gibi etkenleri hesaba katmadığına dikkat çeken yorumcular tarafından “absürt” bulundu. Eleştirmenler ayrıca %40’lık iyileşme iddiasında hangi bağlam uzunluklarının kullanıldığını soruyor; uzun bağlamlı iş yüklerinin çoğu zaman işlem gücünden ziyade bellekle sınırlı olduğuna işaret ediyor.