A Hugging Face anunciou o TorchTPU, um backend nativo do PyTorch que trata as TPUs como qualquer outro dispositivo. Basta instalá-lo com um único comando pip para carregar modelos Transformers ou Diffusers em uma TPU, definindo device_map="tpu". O pacote inclui kernels Pallas otimizados para TPU, suporte a treinamento distribuído e integração com torch.compile para obter mais velocidade. O Optimum TPU não é mais necessário para usar modelos da Hugging Face em TPUs.
Por que importa
Agora, desenvolvedores que usam PyTorch podem trabalhar com TPUs do Google Cloud sem frameworks adicionais, simplificando o treinamento e a inferência em grande escala.
