Hugging Face heeft TorchTPU aangekondigd, een native PyTorch-backend die TPU’s behandelt als elk ander apparaat. Installeer het met één pip-opdracht en laad Transformers- of Diffusers-modellen op een TPU door device_map="tpu" in te stellen. Het pakket bevat voor TPU’s geoptimaliseerde Pallas-kernels, ondersteuning voor gedistribueerde training en integratie met torch.compile voor extra snelheid. Optimum TPU is niet langer nodig om Hugging Face-modellen op TPU’s te gebruiken.
Waarom het ertoe doet
PyTorch-ontwikkelaars kunnen nu Google Cloud TPU’s gebruiken zonder extra frameworks, wat grootschalige training en inferentie eenvoudiger maakt.
