O Google anunciou novos mecanismos de inferência que executam os projetos de código aberto vLLM e SGLang em TPUs, usando um backend PyTorch nativo chamado TorchTPU. Os mecanismos foram desenvolvidos em conjunto com a Inferact (vLLM) e a RadixArk (SGLang) e já atendem cargas de trabalho de produção em empresas como a Meta. Eles incluem otimizações específicas para TPU, como kernels Pallas personalizados e gerenciamento de cache KV, com o objetivo de facilitar a execução de serviços em larga escala e com baixa latência para usuários de PyTorch.
Por que importa
Agora, desenvolvedores que usam PyTorch podem implementar inferência rápida e econômica para grandes modelos de linguagem no hardware TPU do Google sem migrar para JAX.
