# Google bringt native PyTorch-Unterstützung für vLLM und SGLang auf TPUs

> Google stellt PyTorch-Backends für die Inferenz-Engines vLLM und SGLang vor. Damit können Entwickler diese Modelle mit vertrauten PyTorch-Tools auf TPU-Hardware ausführen.

Oossa · 2026-10-20 · https://oossa.com/de/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google hat neue Inferenz-Engines angekündigt, mit denen sich die Open-Source-Projekte vLLM und SGLang über ein natives PyTorch-Backend namens TorchTPU auf TPUs ausführen lassen. Die Engines wurden gemeinsam mit Inferact (vLLM) und RadixArk (SGLang) entwickelt und bedienen bereits Produktionslasten bei Unternehmen wie Meta. Zu den TPU-spezifischen Optimierungen zählen eigens entwickelte Pallas-Kernels und die Verwaltung des KV-Caches. Sie sollen PyTorch-Nutzern die Bereitstellung großer Modelle mit niedriger Latenz erleichtern.

## Die Fakten

- vLLM-TorchTPU kann ein Kimi-K3-Modell mit 2,8 T Parametern auf einem Ironwood TPU mit mehr als 700 Tokens pro Sekunde ausführen.
- Beide Engines laufen bei Preview-Kunden in der Produktion und erzielten in Benchmarks mit $0.0201 die niedrigsten Kosten pro einer Million Tokens.

## Warum es wichtig ist

PyTorch-Entwickler können jetzt große Sprachmodelle schnell und kosteneffizient auf Googles TPU-Hardware ausführen, ohne zu JAX wechseln zu müssen.

## Quellen und Referenzen

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Zuletzt aktualisiert: 2026-10-20