Microsoft、Azure Maiaを2027年に複数ギガワット規模へ拡大

Microsoftは、Azure Maiaファミリーを2027年から複数ギガワット規模で展開すると発表した。新型アクセラレーターのMaia 300は、モデルの学習用ではなく、長いコンテキストと大量のデコード処理を必要とする推論向けに設計されている。Microsoftによると、Maia 300は主要なGPUベースのシステムよりメガワット当たりのトークン処理量が40％多く、ラック規模でのトークン処理性能は前世代のMaia 200の最大7倍になるという。

Maia 300の構成

Maia 300アクセラレーター1基にはHBM4メモリを8スタック搭載し、950ワットの電力枠内で288 GBの高速メモリと18 TB/sの帯域幅を実現する。ラック1台には24トレイに計96基のアクセラレーターを収め、消費電力は167 kW。HBMは合計27.6 TB、総帯域幅は1.7 PB/sとなる。チップはTSMCのN2Pプロセスで製造され、ソフトウェアがデータを演算コアの近くに保てるよう、NUMA方式のメモリー配置を採用している。

システムのネットワークには、イーサネット上で動作する独自のAI向け転送方式を採用。アクセラレーターは、ホストCPUや独立したNICを介さず、ラック単位の「スーパーポッド」内にある任意のアクセラレーターと直接通信できる。最大128ラックを接続し、12,288基のアクセラレーターからなるスーパーポッドを構成できる。Microsoftは、このネットワークにより、故障したトレイを予備のトレイに透過的に置き換えられるとしている。

効率性をめぐる反応

主要指標として示された「ワット当たりのトークン数」については、トークンの定義はさまざまで、レイテンシーやトークン当たりのコストといった要素も考慮されていないとして、コメント投稿者から「ばかげている」との声が上がっている。また、40％向上という主張の測定にどのコンテキスト長を使ったのかを疑問視する批判もある。長いコンテキストを扱う処理は、演算性能よりもメモリーがボトルネックになりやすいとの指摘だ。