Googleは第8世代Tensor Processing Unit（TPU）シリーズを拡充した。TPU 8txは従来のTPU 8tと同じシリコンを採用しながら、Armベースのホストを第5世代AMD EPYC CPUに変更し、Boardflyネットワークを搭載。規制対象の企業や政府機関向けに、ハードウェアで分離された推論処理を目指す。TPU 8i Maxは8iチップ2基を1つのパッケージに収め、計算能力、SRAM、HBM帯域幅を2倍にして、長文脈を扱うエージェントの処理に対応する。
なぜ重要か
セキュアで低遅延なAIを必要とする企業は、専用ハードウェアを設計せずに新しいTPU 8txを導入できる。一方、大規模なコンテキストを扱うエージェントの開発者は、同じ設置面積で処理能力を2倍にできる。
