Oossa

TorchNeuron、AWS TrainiumのPyTorchネイティブ対応を追加

PyTorchがTorchNeuronを公開。コードを変更せずに、Trainiumチップ上でモデルを実行できるオープンソースのバックエンドです。

短信著者: Oossa公開日: 最終更新: 1 分で読める

PyTorchは、AWS Trainiumを通常のPyTorchデバイスとして扱えるネイティブバックエンド「TorchNeuron」を発表しました。この新しいライブラリを使えば、.to('neuron')を指定するだけでモデルをTrainiumに切り替えられ、torch.compileによって本番環境向けの高速化も利用できます。eager実行、adaptive eager mode、Neuron Kernel Interface経由のカスタムカーネルに対応しています。コードはApache 2.0ライセンスでオープンソース化され、パブリックベータはOct. 20に開始します。

なぜ重要か

研究者はPyTorchのコードをそのまま使い、ワークフローを書き換えることなくTrainiumの処理速度を活用できます。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。