PrimeIntellect‑ai ha pubblicato su GitHub un repository chiamato dion, che contiene implementazioni efficienti degli ottimizzatori Dion e Muon per l’addestramento distribuito di modelli di machine learning. Il codice funziona con le versioni moderne di PyTorch (v2.7 o successive) e supporta il parallelismo basato su DTensor, come DDP, FSDP2 e il parallelismo tensoriale. Gli utenti possono installare il pacchetto direttamente dal repository con pip. Il README include script di esempio per addestrare un modello GPT-small su otto GPU.
Perché conta
Offre ai ricercatori un ottimizzatore efficiente nella comunicazione e pronto all’uso, che può accelerare l’addestramento di modelli su larga scala.
