GoogleとMetaは、サンノゼで開催されたPyTorch Conference North America 2026でTorchTPUを発表した。この新しいバックエンドを使えば、PyTorchのコードを1行のデバイス指定変更だけでGoogleのTensor Processing Units（TPU）上で実行できる。CPUとGPUを切り替える場合と同じ感覚だ。プロジェクトは完全なオープンソースで、GitHubからすでに入手できる。
TorchTPUは、コードに大幅な変更が必要で、コンパイル時間も長かった従来のPyTorch/XLAブリッジに代わるものだ。PyTorchの低レベルディスパッチャーに直接統合されており、Hugging Faceのモデル、vLLMやSGLangの推論エンジン、TorchTitanの学習スタックをすぐに利用できる。今回のリリースには、TorchTPU、vLLM‑TorchTPU、SGLang‑TorchTPU、TorchTitanの4つのリポジトリが含まれる。
Googleは、最大8,192基のTPU v7xチップまで、ほぼ線形に性能が拡張することを示した。同社のベンチマークでは、2,350億パラメーターのMixture of Expertsモデル「Qwen‑3」が、チップのFLOPs性能の28％を使用した。また、性能調整を自動化するTPUエージェントスイートもプレビュー公開した。一方、デバイス指定の変更だけでは出発点にすぎず、最高速度を得るにはテンソル形状やシャーディングの追加調整が必要だとしている。
今、TorchTPUが重要な理由
データセンターの計算需要では推論が主流になり、大規模言語モデルのサービスの多くが、より安価で高速なハードウェアを求めている。TPUは高い処理能力と低い消費電力で知られるが、これまではPyTorchから利用するのが難しかった。TorchTPUによってそのハードルが下がり、開発者は単一のコードベースを保ったまま、クラウド上のTPUクラスターを試せる。
Metaのエンジニアリングチームは、「性能、信頼性、保守性」が必要だとして、より大規模なLLMの学習をTPUに移行する計画を明らかにした。オープンソースであるため、ほかのクラウドプロバイダーも同じバックエンドを採用できる。これにより、すでにPyTorchを使っているチームは、特定ベンダーへの依存を減らせる。
なぜ重要か
データサイエンスチームはTorchTPUを使えば、コードを書き換えずにTPUの高速化を試せるため、大規模モデルのクラウド費用を抑えられる可能性がある。ただし、最適な速度を得るにはモデルの形状やシャーディングの調整が必要であり、性能改善にかかるエンジニアリング工数も予算に含める必要がある。
