Hugging Face объявила о выпуске TorchTPU — нативного бэкенда PyTorch, который позволяет работать с TPU так же, как с любым другим устройством. Установите пакет одной командой pip — и сможете загружать модели Transformers или Diffusers на TPU, указав device_map="tpu". В пакет входят оптимизированные для TPU ядра Pallas, поддержка распределённого обучения и интеграция с torch.compile для повышения скорости. Для запуска моделей Hugging Face на TPU Optimum TPU больше не нужен.
Почему это важно
Разработчики PyTorch теперь могут использовать TPU Google Cloud без дополнительных фреймворков, что упрощает масштабное обучение и инференс.
