# Google brengt PyTorch-ondersteuning voor vLLM en SGLang naar TPU’s

> Google introduceert PyTorch-backends voor de inference-engines vLLM en SGLang. Daarmee kunnen ontwikkelaars deze modellen met vertrouwde PyTorch-tools op TPU-hardware draaien.

Oossa · 2026-10-20 · https://oossa.com/nl/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google heeft nieuwe inference-engines aangekondigd waarmee de open-sourceprojecten vLLM en SGLang op TPU’s draaien via een native PyTorch-backend genaamd TorchTPU. De engines zijn samen ontwikkeld met Inferact (vLLM) en RadixArk (SGLang) en worden al gebruikt voor productie-workloads bij bedrijven als Meta. Ze bevatten specifieke optimalisaties voor TPU’s, zoals aangepaste Pallas-kernels en beheer van de KV-cache, om grootschalige inference met lage latentie toegankelijker te maken voor PyTorch-gebruikers.

## De feiten

- vLLM-TorchTPU kan het Kimi K3-model met 2.8 T parameters op een Ironwood TPU verwerken met meer dan 700 tokens per seconde.
- Beide engines draaien in productie bij previewklanten en behaalden in benchmarks de laagste kosten per miljoen tokens: $0.0201.

## Waarom het ertoe doet

PyTorch-ontwikkelaars kunnen nu snelle, kostenefficiënte inference voor grote taalmodellen op Google TPU-hardware uitvoeren zonder over te stappen op JAX.

## Bronnen en referenties

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Laatst bijgewerkt: 2026-10-20