Oossa

EUのコンソーシアム、公共スーパーコンピューターで1兆パラメーターのAIを学習

EUROPAチームはPyTorchとTorchTitanを使い、NVIDIA GH200 GPU 384基でGPU当たり約1,300トークン/秒を達成。EUの共有インフラでも最先端規模の学習が可能だと示した。

短信著者: Oossa公開日: 1 分で読める

EUROPAコンソーシアム(Domyn、Fraunhofer IAIS、IIS)は、Forschungszentrum JülichにあるEuroHPCのエクサスケールスーパーコンピューターJUPITER上で、約1兆パラメーターの混合エキスパートモデルを学習させた。PyTorchとTorchTitanを調整し、GH200 GPU 384基(96ノード)で、スループットをGPU当たり毎秒90トークンから約1,300トークンに引き上げた。この成果は、公的な主権型コンピューティング基盤が、民間クラスターと同規模のAIを支えられることを示している。

なぜ重要か

欧州の公的コンピューティング資源でも最先端規模のAIを実行できることを示し、民間クラウドの利用への依存を減らす可能性がある。

出典と参考資料

1 件の出典
  1. PyTorch原典を読む

Markdown

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。