微软计划2027年将Azure Maia扩展至多吉瓦级推理

微软宣布，从2027年起，Azure Maia系列将扩展至多吉瓦级部署。新款Maia 300加速器面向需要处理长上下文和大量解码的推理任务，而非模型训练。微软称，Maia 300每兆瓦可处理的token比领先的GPU系统多40%，机架级token吞吐量最高可达前代Maia 200的七倍。

Maia 300的配置

每块Maia 300加速器配备8组HBM4内存堆栈，提供288 GB高速内存和18 TB/s带宽，功耗为950瓦。一个机架可容纳96块加速器，分布在24个托盘中，功耗为167 kW，并提供27.6 TB HBM内存和1.7 PB/s的总带宽。这些芯片采用TSMC的N2P制程，并使用NUMA内存布局，让软件能够将数据放在靠近计算核心的位置。

系统网络采用基于以太网的定制AI传输技术。在机架级“superpod”中，加速器无需经过主机CPU或独立网卡，就能直接与任意同伴通信。最多可连接128个机架，组成一台配备12,288块加速器的superpod。微软称，这种网络架构还能让备用托盘无缝替换故障托盘。

效率说法引发质疑

“每瓦token数”这一核心指标被一些评论者称为“荒谬”。他们指出，token的定义并不统一，而且该指标忽略了延迟或单个token的成本等因素。质疑者还追问，微软声称提升40%时采用了多长的上下文，并指出长上下文工作负载通常受内存限制，而非计算能力限制。