Google e Meta anunciaram o TorchTPU na PyTorch Conference North America 2026, em San Jose. O novo backend permite executar código PyTorch nas Tensor Processing Units do Google alterando uma única linha para selecionar o dispositivo, de forma semelhante à troca entre CPUs e GPUs. O projeto é totalmente de código aberto e já está disponível no GitHub.
O TorchTPU substitui a antiga integração PyTorch/XLA, que exigia mudanças invasivas no código e tinha tempos de compilação longos. Integrado diretamente ao dispatcher de baixo nível do PyTorch, o TorchTPU funciona sem ajustes com modelos do Hugging Face, os mecanismos de inferência vLLM e SGLang e a estrutura de treinamento TorchTitan. O lançamento inclui quatro repositórios: TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU e TorchTitan.
O Google demonstrou escalabilidade quase linear com até 8,192 chips TPU v7x. No benchmark da empresa, um modelo Qwen‑3 de mistura de especialistas, com 235 bilhões de parâmetros, usou 28 % da capacidade de FLOPs dos chips. A empresa também apresentou uma prévia de um conjunto de agentes para TPU que pode automatizar a otimização de desempenho, embora ressalte que a simples troca de dispositivo é apenas o ponto de partida: para atingir a velocidade máxima, são necessários ajustes adicionais de formatos e fragmentação dos dados entre chips.
Por que o TorchTPU importa agora
As cargas de trabalho de inferência já representam a maior parte da computação em data centers, e muitos serviços de modelos de linguagem de grande porte buscam hardware mais barato e rápido. As TPUs são conhecidas pelo alto desempenho e pelo menor consumo de energia, mas até agora eram difíceis de usar com PyTorch. O TorchTPU reduz essa barreira e permite que desenvolvedores mantenham uma única base de código enquanto experimentam clusters de TPU na nuvem.
A equipe de engenharia da Meta afirmou que pretende transferir para TPUs o treinamento de LLMs em maior escala, citando a necessidade de “desempenho, confiabilidade e facilidade de manutenção”. Por ser de código aberto, o backend também pode ser adotado por outros provedores de nuvem, reduzindo a dependência de um único fornecedor para equipes que já usam PyTorch.
Por que importa
Para equipes de ciência de dados, o TorchTPU permite testar a aceleração por TPU sem reescrever o código, o que pode reduzir os custos de nuvem ao trabalhar com modelos grandes. Ainda assim, para obter o melhor desempenho é preciso ajustar os formatos dos modelos e a fragmentação dos dados entre chips; portanto, o orçamento deve prever tempo de engenharia para otimização.
