# Google leva vLLM e SGLang ao TPU com suporte nativo a PyTorch

> Google lança backends PyTorch para os mecanismos de inferência vLLM e SGLang, permitindo que desenvolvedores executem esses modelos em TPUs com ferramentas PyTorch conhecidas.

Oossa · 2026-10-20 · https://oossa.com/pt/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

O Google anunciou novos mecanismos de inferência que executam os projetos de código aberto vLLM e SGLang em TPUs, usando um backend PyTorch nativo chamado TorchTPU. Os mecanismos foram desenvolvidos em conjunto com a Inferact (vLLM) e a RadixArk (SGLang) e já atendem cargas de trabalho de produção em empresas como a Meta. Eles incluem otimizações específicas para TPU, como kernels Pallas personalizados e gerenciamento de cache KV, com o objetivo de facilitar a execução de serviços em larga escala e com baixa latência para usuários de PyTorch.

## Os fatos

- O vLLM‑TorchTPU consegue atender ao modelo Kimi K3, com 2.8 T de parâmetros, a mais de 700 tokens por segundo em um TPU Ironwood.
- Os dois mecanismos estão em produção com clientes do programa de prévia e registraram o menor custo por milhão de tokens: $0.0201.

## Por que importa

Agora, desenvolvedores que usam PyTorch podem implementar inferência rápida e econômica para grandes modelos de linguagem no hardware TPU do Google sem migrar para JAX.

## Fontes e referências

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Última atualização: 2026-10-20