# Google lägger till inbyggt PyTorch-stöd för vLLM och SGLang på TPU

> Google lanserar PyTorch-backends för inferensmotorerna vLLM och SGLang. Det gör att utvecklare kan köra modellerna på TPU-hårdvara med välbekanta PyTorch-verktyg.

Oossa · 2026-10-20 · https://oossa.com/sv/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google presenterade nya inferensmotorer som kör open source-projekten vLLM och SGLang på TPU:er med en inbyggd PyTorch-backend kallad TorchTPU. Motorerna har utvecklats tillsammans med Inferact (vLLM) och RadixArk (SGLang) och används redan för produktionsarbetslaster hos företag som Meta. De innehåller TPU-specifika optimeringar, till exempel anpassade Pallas-kärnor och hantering av KV-cache, med målet att göra storskalig inferens med låg fördröjning enklare för PyTorch-användare.

## Fakta

- vLLM‑TorchTPU kan köra inferens på Kimi K3-modellen med 2.8 T parametrar i över 700 tokens per sekund på en Ironwood TPU.
- Båda motorerna används i produktion hos förhandskunder och har uppmätt den lägsta kostnaden per miljon tokens: $0.0201.

## Varför det spelar roll

PyTorch-utvecklare kan nu köra snabb och kostnadseffektiv inferens för stora språkmodeller på Googles TPU-hårdvara utan att byta till JAX.

## Källor och referenser

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Senast uppdaterad: 2026-10-20