PrimeIntellect‑ai مخزنی در گیتهاب با نام dion منتشر کرده که پیادهسازیهای کارآمدی از بهینهسازهای Dion و Muon برای آموزش توزیعشده یادگیری ماشین در خود دارد. این کد با نسخههای جدید PyTorch (v2.7 یا جدیدتر) کار میکند و از موازیسازی مبتنی بر DTensor، از جمله DDP، FSDP2 و موازیسازی تانسوری، پشتیبانی میکند. کاربران میتوانند بسته را مستقیماً از مخزن و با pip نصب کنند. فایل README نمونهاسکریپتهایی برای آموزش یک مدل GPT-small روی هشت GPU دارد.
چرا مهم است
این مخزن به پژوهشگران بهینهسازی آمادهاستفاده و کمهزینه از نظر ارتباطات میدهد که میتواند آموزش مدلها در مقیاس بزرگ را سریعتر کند.