PrimeIntellect‑ai 在 GitHub 上发布了名为 dion 的代码仓库，其中包含适用于分布式机器学习训练的高效 Dion 和 Muon 优化器实现。代码兼容较新版本的 PyTorch（v2.7 或更高版本），并支持基于 DTensor 的并行方式，包括 DDP、FSDP2 和张量并行。用户可以通过 pip 直接从仓库安装该软件包。README 中还提供了示例脚本，演示如何使用八块 GPU 训练 GPT-small 模型。
为什么重要
研究人员可以直接使用这种通信高效的优化器，从而加快大规模模型训练。
