# Google、vLLMとSGLangにTPU向けPyTorchサポートを追加

> Googleは推論エンジンvLLMとSGLang向けのPyTorchバックエンドを公開。開発者は使い慣れたPyTorchツールで、これらのモデルをTPU上で実行できる。

Oossa · 2026-10-20 · https://oossa.com/ja/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Googleは、TorchTPUと呼ばれるネイティブのPyTorchバックエンドを使い、オープンソースのvLLMとSGLangをTPU上で動かす新たな推論エンジンを発表した。エンジンはInferact（vLLM）およびRadixArk（SGLang）と共同開発され、Metaなどの企業ですでに本番ワークロードを処理している。カスタムPallasカーネルやKVキャッシュ管理など、TPUに特化した最適化を備え、PyTorchユーザーが大規模かつ低遅延の推論サービスを構築しやすくすることを目指している。

## 事実

- vLLM-TorchTPUは、Ironwood TPU上で2.8 TパラメーターのKimi K3モデルを毎秒700トークン超で処理できる。
- 両エンジンはプレビュー版を利用する顧客の本番環境で稼働しており、ベンチマークでは100万トークン当たり$0.0201という最低コストを記録した。

## なぜ重要か

PyTorch開発者はJAXに切り替えることなく、GoogleのTPU上で大規模言語モデルの高速かつコスト効率の高い推論を実行できる。

## 出典と参考資料

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

最終更新: 2026-10-20