Hugging Face har presenterat TorchTPU, en inbyggd PyTorch-backend som hanterar TPU:er som vilken annan enhet som helst. Installera paketet med ett enda pip-kommando och ladda Transformers- eller Diffusers-modeller på en TPU genom att ange device_map="tpu". Paketet innehåller Pallas-kärnor optimerade för TPU:er, stöd för distribuerad träning och integration med torch.compile för högre hastighet. Optimum TPU behövs inte längre för att köra Hugging Face-modeller på TPU:er.
Varför det spelar roll
PyTorch-utvecklare kan nu använda Google Cloud TPU:er utan extra ramverk, vilket förenklar träning och inferens i stor skala.
