Microsoft объявила, что с 2027 года развернёт семейство Azure Maia в масштабах нескольких гигаватт. Новый ускоритель Maia 300 предназначен для инференса с длинным контекстом и интенсивной генерацией токенов, а не для обучения моделей. Microsoft утверждает, что Maia 300 будет выдавать на 40% больше токенов на мегаватт, чем ведущие системы на базе GPU, а пропускная способность стойки по токенам вырастет до семи раз по сравнению с предшественником Maia 200.
Как устроена Maia 300
В каждом ускорителе Maia 300 установлено восемь стеков памяти HBM4: 288 GB быстрой памяти с пропускной способностью 18 TB/s при энергопотреблении 950 W. В стойке размещаются 96 ускорителей на 24 лотках. Она потребляет 167 kW и обеспечивает 27.6 TB памяти HBM и суммарную пропускную способность 1.7 PB/s. Чипы производятся по техпроцессу TSMC N2P и используют архитектуру памяти NUMA, позволяющую программному обеспечению держать данные рядом с вычислительными ядрами.
Для связи между ускорителями используется разработанный Microsoft транспорт для ИИ на базе Ethernet. В пределах стойки — «суперпод» — ускорители могут напрямую обмениваться данными с любым другим ускорителем, без участия хост-процессора или отдельной сетевой карты. Можно объединить до 128 стоек, создав суперпод из 12,288 ускорителей. По словам Microsoft, благодаря этой сети резервный лоток может незаметно заменить вышедший из строя.
Реакция на заявление об эффективности
Главный показатель — число токенов на ватт — комментаторы назвали «абсурдным»: определения токена различаются, а сам показатель не учитывает такие факторы, как задержка или стоимость токена. Критики также спрашивают, какая длина контекста использовалась для расчёта заявленного прироста в 40%, отмечая, что при длинном контексте производительность часто ограничена памятью, а не вычислениями.
Почему это важно
Для пользователей собственных сервисов Microsoft новое оборудование может означать более быстрые ответы и снижение энергозатрат, если заявленная эффективность подтвердится. Однако Microsoft не сообщила, смогут ли внешние клиенты арендовать мощности Maia, поэтому пока преимущества могут быть доступны только в продуктах компании.
