PrimeIntellect‑ai a publié sur GitHub un dépôt nommé dion, qui contient des implémentations efficaces des optimiseurs Dion et Muon pour l’entraînement distribué de modèles d’apprentissage automatique. Le code est compatible avec les versions récentes de PyTorch (v2.7 ou ultérieures) et prend en charge le parallélisme basé sur DTensor, notamment DDP, FSDP2 et le parallélisme tensoriel. Les utilisateurs peuvent installer le paquet directement depuis le dépôt avec pip. Le fichier README contient des scripts d’exemple pour entraîner un modèle GPT-small sur huit GPU.
Pourquoi c'est important
Les chercheurs disposent ainsi d’un optimiseur prêt à l’emploi, efficace en communication, qui peut accélérer l’entraînement de modèles à grande échelle.
