PrimeIntellect‑aiは、分散機械学習向けのDionとMuonのオプティマイザーを効率的に実装したGitHubリポジトリ「dion」を公開した。このコードは最新のPyTorch(v2.7以降)に対応し、DDP、FSDP2、テンソル並列化など、DTensorベースの並列処理をサポートする。パッケージはリポジトリからpipで直接インストールできる。READMEには、8基のGPUでGPT-smallモデルを学習させるサンプルスクリプトも掲載されている。
なぜ重要か
研究者はすぐに使える通信効率の高いオプティマイザーを利用でき、大規模モデルの学習を高速化できる。