PrimeIntellect‑ai, dağıtık makine öğrenimi eğitimi için Dion ve Muon optimizasyon algoritmalarının verimli uygulamalarını içeren dion adlı bir GitHub deposu yayımladı. Kod, güncel PyTorch sürümleriyle (v2.7 veya üzeri) çalışıyor ve DDP, FSDP2 ile tensor paralelliği gibi DTensor tabanlı paralellik yöntemlerini destekliyor. Paket, pip kullanılarak doğrudan depodan yüklenebiliyor. README dosyasında, sekiz GPU’da GPT-small modeli eğitmek için örnek betikler de yer alıyor.
Neden önemli
Araştırmacılara, büyük ölçekli model eğitimini hızlandırabilecek, iletişim yükü düşük ve kullanıma hazır bir optimizasyon algoritması sunuyor.
