PrimeIntellect‑ai ने dion नाम से GitHub रिपॉज़िटरी प्रकाशित की है। इसमें वितरित मशीन-लर्निंग ट्रेनिंग के लिए Dion और Muon ऑप्टिमाइज़र के कुशल कार्यान्वयन शामिल हैं। यह कोड आधुनिक PyTorch (v2.7 या नया) के साथ काम करता है और DDP, FSDP2 तथा टेंसर पैरेललिज़्म जैसी DTensor-आधारित पैरेललिज़्म तकनीकों को सपोर्ट करता है। उपयोगकर्ता pip के ज़रिए सीधे रिपॉज़िटरी से पैकेज इंस्टॉल कर सकते हैं। README में आठ GPUs पर GPT-small मॉडल को ट्रेन करने के नमूना स्क्रिप्ट शामिल हैं।
यह क्यों मायने रखता है
इससे शोधकर्ताओं को इस्तेमाल के लिए तैयार, कम्युनिकेशन-कुशल ऑप्टिमाइज़र मिलता है, जो बड़े पैमाने पर मॉडल ट्रेनिंग को तेज़ कर सकता है।
