# Google porta vLLM e SGLang nativamente su TPU con PyTorch

> Google lancia backend PyTorch per i motori di inferenza vLLM e SGLang, così gli sviluppatori possono eseguire questi modelli su hardware TPU usando gli strumenti PyTorch che già conoscono.

Oossa · 2026-10-20 · https://oossa.com/it/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google ha annunciato nuovi motori di inferenza che permettono di eseguire sulle TPU i progetti open source vLLM e SGLang, grazie a un backend PyTorch nativo chiamato TorchTPU. I motori sono stati sviluppati insieme a Inferact (vLLM) e RadixArk (SGLang) e sono già utilizzati per carichi di lavoro in produzione da aziende come Meta. Includono ottimizzazioni specifiche per le TPU, come kernel Pallas personalizzati e la gestione della cache KV, con l’obiettivo di semplificare l’inferenza su larga scala e a bassa latenza per chi usa PyTorch.

## I fatti

- vLLM-TorchTPU può eseguire il modello Kimi K3 da 2.8 T parametri a oltre 700 token al secondo su una TPU Ironwood.
- Entrambi i motori sono già in produzione presso clienti che li stanno testando in anteprima e, nei benchmark, hanno registrato il costo più basso per milione di token: $0.0201.

## Perché conta

Gli sviluppatori PyTorch possono ora distribuire inferenze rapide ed efficienti in termini di costi per i modelli linguistici di grandi dimensioni sull’hardware TPU di Google, senza passare a JAX.

## Fonti e riferimenti

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Ultimo aggiornamento: 2026-10-20