Google、vLLMとSGLangにTPU向けPyTorchサポートを追加

Googleは、TorchTPUと呼ばれるネイティブのPyTorchバックエンドを使い、オープンソースのvLLMとSGLangをTPU上で動かす新たな推論エンジンを発表した。エンジンはInferact（vLLM）およびRadixArk（SGLang）と共同開発され、Metaなどの企業ですでに本番ワークロードを処理している。カスタムPallasカーネルやKVキャッシュ管理など、TPUに特化した最適化を備え、PyTorchユーザーが大規模かつ低遅延の推論サービスを構築しやすくすることを目指している。