# Google incorpora compatibilidad nativa con PyTorch para vLLM y SGLang en TPU

> Google lanza backends de PyTorch para los motores de inferencia vLLM y SGLang, que permiten ejecutar estos modelos en hardware TPU con las herramientas de PyTorch de siempre.

Oossa · 2026-10-20 · https://oossa.com/es/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google anunció nuevos motores de inferencia que ejecutan los proyectos de código abierto vLLM y SGLang en TPU mediante un backend nativo de PyTorch llamado TorchTPU. Se desarrollaron en colaboración con Inferact (vLLM) y RadixArk (SGLang), y ya procesan cargas de trabajo de producción en empresas como Meta. Incluyen optimizaciones específicas para TPU, como kernels personalizados de Pallas y gestión de la caché KV, con el objetivo de facilitar la prestación de servicios a gran escala y con baja latencia para quienes usan PyTorch.

## Los hechos

- vLLM‑TorchTPU puede servir el modelo Kimi K3, de 2.8 T parámetros, a más de 700 tokens por segundo en una TPU Ironwood.
- Ambos motores están en producción con clientes que tienen acceso anticipado y han registrado el menor costo por millón de tokens: $0.0201.

## Por qué importa

Ahora, los desarrolladores que usan PyTorch pueden implementar inferencias rápidas y rentables para modelos de lenguaje grandes en el hardware TPU de Google sin tener que cambiar a JAX.

## Fuentes y referencias

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Última actualización: 2026-10-20