PrimeIntellect‑ai опубликовала на GitHub репозиторий dion с эффективными реализациями оптимизаторов Dion и Muon для распределённого обучения моделей машинного обучения. Код совместим с современными версиями PyTorch (v2.7 и новее) и поддерживает параллелизм на основе DTensor, включая DDP, FSDP2 и распараллеливание тензоров. Пакет можно установить напрямую из репозитория с помощью pip. В README приведены примеры скриптов для обучения модели GPT-small на восьми GPU.
Почему это важно
Исследователи получают готовый к использованию оптимизатор с эффективным обменом данными, который может ускорить обучение крупных моделей.
