Hugging Face 宣布推出 TorchTPU。这是一款原生 PyTorch 后端,可像使用其他设备一样使用 TPU。只需运行一条 pip 命令即可安装;随后将 device_map="tpu",就能在 TPU 上加载 Transformers 或 Diffusers 模型。该软件包还包含针对 TPU 调优的 Pallas 内核、分布式训练支持,以及可进一步提升速度的 torch.compile 集成。使用 Hugging Face 模型运行 TPU 时,不再需要 Optimum TPU。
为什么重要
PyTorch 开发者现在无需借助额外框架即可使用 Google Cloud TPU,从而简化大规模训练和推理。