PrimeIntellect-ai har publicerat ett GitHub-repo med namnet dion, som innehåller effektiva implementationer av optimerarna Dion och Muon för distribuerad träning av maskininlärningsmodeller. Koden fungerar med moderna versioner av PyTorch (v2.7 eller senare) och har stöd för DTensor-baserad parallellism, till exempel DDP, FSDP2 och tensorparallellism. Paketet kan installeras direkt från repot med pip. I README-filen finns exempelskript för att träna en GPT-small-modell på åtta GPU:er.
Varför det spelar roll
Det ger forskare en färdig, kommunikationseffektiv optimerare som kan snabba upp storskalig modellträning.
