PyTorchは、AWS Trainiumを通常のPyTorchデバイスとして扱えるネイティブバックエンド「TorchNeuron」を発表しました。この新しいライブラリを使えば、.to('neuron')を指定するだけでモデルをTrainiumに切り替えられ、torch.compileによって本番環境向けの高速化も利用できます。eager実行、adaptive eager mode、Neuron Kernel Interface経由のカスタムカーネルに対応しています。コードはApache 2.0ライセンスでオープンソース化され、パブリックベータはOct. 20に開始します。
なぜ重要か
研究者はPyTorchのコードをそのまま使い、ワークフローを書き換えることなくTrainiumの処理速度を活用できます。