PrimeIntellect‑ai heeft op GitHub een repository met de naam dion gepubliceerd. Die bevat efficiënte implementaties van de optimizers Dion en Muon voor gedistribueerde training van machinelearningmodellen. De code werkt met moderne versies van PyTorch (v2.7 of hoger) en ondersteunt parallelisme op basis van DTensor, zoals DDP, FSDP2 en tensorparallelisme. Gebruikers kunnen het pakket rechtstreeks vanuit de repo installeren met pip. De README bevat voorbeeldscripts om een GPT-small-model op acht GPU's te trainen.
Waarom het ertoe doet
Onderzoekers krijgen hiermee een direct inzetbare optimizer die communicatie efficiënt benut en grootschalige modeltraining kan versnellen.
