Hugging Face ha annunciato TorchTPU, un backend nativo per PyTorch che consente di usare le TPU come qualsiasi altro dispositivo. Basta installarlo con un comando pip per caricare modelli Transformers o Diffusers su una TPU impostando device_map="tpu". Il pacchetto include kernel Pallas ottimizzati per le TPU, supporto all’addestramento distribuito e integrazione con torch.compile per ottenere prestazioni ancora migliori. Optimum TPU non è più necessario per usare i modelli Hugging Face sulle TPU.
Perché conta
Gli sviluppatori PyTorch possono ora usare le TPU di Google Cloud senza framework aggiuntivi, semplificando l’addestramento e l’inferenza su larga scala.
