Googleは今週、AIアクセラレーターシステムを2種類発表した。TPU 8txは、データを処理中も暗号化したままにする必要がある企業や政府機関向けに設計されている。TPU 8i Maxは、第8世代のTPU 8iを2基、1つのパッケージに搭載。同じラック内で演算性能、メモリー容量、帯域幅を倍増させる。どちらもGoogleの既存の第8世代TPUと同じシリコンを使うが、パッケージング、ネットワーク、メモリーの構成が異なる。Googleによると、モジュール式のアプローチにより、新しいハードウェアを数年ではなく数カ月で提供できるという。
TPU 8txは、データとモデルの重みを実行中も暗号化したままにし、セキュリティ上の空白を埋める。Googleは、NvidiaのGPU向け機密コンピューティング機能に相当するものだと説明している。このシステムはGoogleの低遅延ネットワーク「Boardfly」を採用し、旧型のTPU 8tと比べて遅延を最大2倍削減できるとうたう。Googleによると、単一の8txシステムで、機密データをクラスター間で移動させずに、モデルのファインチューニング、大規模モデルの蒸留、強化学習エージェントの訓練が可能だ。
TPU 8i Maxは、AIエージェントが大規模なコードベースや数時間分の動画を扱う際に生じる、メモリーのボトルネックを解消することを狙う。TPU 8iを2基まとめて搭載することでメモリー容量と帯域幅を倍増させ、同じラック占有面積でおよそ2倍の演算性能を実現する。Googleによると、データセンターの床面積あたりの性能向上につながるという。
ハードウェアに加え、GoogleはTPUの導入も進めやすくしている。PyTorchのコードを最小限の変更でTPU上で実行できるよう、TorchTPUをオープンソースで公開。また、vLLMやSGLangなど、広く使われている推論フレームワークにも対応した。同社のTPUを利用する外部顧客は現在、約100社に上る。かつては社内利用に限っていた方針からの転換だ。
新しいTPUが重要な理由
機密データを扱う企業は、情報を復号せずにAI処理を実行できるようになり、情報漏えいのリスクを減らせる。動画解析やコードベースの検索など、大規模な推論処理に取り組む開発者は、データセンターの設置面積を増やさずに、より大きなメモリー容量と処理速度を得られる。
なぜ重要か
機密データを保護する必要がある企業は、生の情報をさらすことなくAIモデルを実行でき、セキュリティ対策の負担を軽減できる。大規模な推論処理を行うチームは、ラックあたりの性能を高められるため、ハードウェアのコストや必要な設置スペースを抑えられる可能性がある。
