Microsoft는 Azure Maia 제품군을 2027년부터 수 기가와트 규모로 확대한다고 발표했다. 새 가속기 Maia 300은 모델 학습용이 아니라 긴 컨텍스트와 대규모 디코딩이 필요한 추론 작업을 위해 설계됐다. Microsoft는 Maia 300이 주요 GPU 기반 시스템보다 메가와트당 토큰 처리량이 40% 많고, 이전 제품인 Maia 200보다 랙 단위 토큰 처리량이 최대 7배 높을 것이라고 밝혔다.
Maia 300의 구성
Maia 300 가속기 한 대에는 HBM4 메모리 스택 8개가 탑재돼 고속 메모리 288 GB와 대역폭 18 TB/s를 제공하며, 소비 전력은 950와트다. 랙 하나에는 트레이 24개에 가속기 96대가 들어가며, 소비 전력은 167 kW, HBM 용량은 27.6 TB, 총 대역폭은 1.7 PB/s다. 칩은 TSMC의 N2P 공정으로 제작되며, 소프트웨어가 데이터를 연산 코어 가까이에 둘 수 있도록 NUMA 메모리 구조를 사용한다.
시스템 네트워크는 이더넷 기반의 맞춤형 AI 전송 기술을 사용한다. 가속기는 호스트 CPU나 별도 NIC를 거치지 않고 랙 단위 ‘슈퍼팟’ 안의 다른 가속기와 직접 통신할 수 있다. 최대 128개 랙을 연결해 가속기 12,288대 규모의 슈퍼팟을 구성할 수 있다. Microsoft는 이 네트워크 패브릭을 통해 고장 난 트레이를 예비 트레이로 중단 없이 교체할 수 있다고 밝혔다.
효율성 주장에 대한 반응
핵심 지표인 와트당 토큰 처리량은 토큰의 정의가 제각각이고 지연 시간이나 토큰당 비용 같은 요소를 반영하지 않는다는 이유로 일부 논평자에게 “터무니없다”는 평가를 받았다. 비판론자들은 40% 향상이라는 주장을 산출할 때 어떤 컨텍스트 길이를 사용했는지도 물었다. 긴 컨텍스트 작업은 연산 능력보다 메모리 제약을 받는 경우가 많다는 지적이다.
왜 중요한가
Microsoft 자체 서비스를 이용하는 고객은 새 하드웨어의 효율성 주장이 사실이라면 응답 속도 향상과 에너지 비용 절감을 기대할 수 있다. 다만 Microsoft는 외부 고객이 Maia 용량을 임대할 수 있는지 밝히지 않아, 당분간은 혜택이 Microsoft 제품 안에만 머물 수 있다.
