Hugging Faceは、TPUをほかのデバイスと同じように扱えるネイティブPyTorchバックエンド「TorchTPU」を発表した。pipコマンド1つでインストールでき、device_map="tpu"を指定すれば、TPU上でTransformersやDiffusersのモデルを読み込める。このパッケージには、TPU向けに最適化したPallasカーネル、分散学習のサポート、さらなる高速化を実現するtorch.compileとの連携が含まれる。Hugging FaceのモデルをTPUで使う際に、Optimum TPUは不要になった。
なぜ重要か
PyTorch開発者は追加のフレームワークを使わずにGoogle Cloud TPUを利用できるようになり、大規模な学習や推論がより簡単になる。