Hugging Face hat TorchTPU vorgestellt, ein natives PyTorch-Backend, das TPUs wie jedes andere Gerät behandelt. Die Installation erfolgt mit einem einzigen pip-Befehl. Anschließend lassen sich Transformers- oder Diffusers-Modelle auf einer TPU laden, indem man device_map="tpu" setzt. Das Paket enthält für TPUs optimierte Pallas-Kernels, unterstützt verteiltes Training und ist für zusätzliche Leistung in torch.compile integriert. Für Hugging-Face-Modelle auf TPUs ist Optimum TPU nicht mehr erforderlich.
Warum es wichtig ist
PyTorch-Entwickler können Google Cloud TPUs jetzt ohne zusätzliche Frameworks nutzen. Das vereinfacht Training und Inferenz im großen Maßstab.
