Oossa

PrimeIntellect کد بهینه‌ساز Dion را در گیت‌هاب منتشر کرد

مخزن جدید PrimeIntellect‑ai/dion پیاده‌سازی‌های سازگار با PyTorch از بهینه‌سازهای Dion و Muon را برای آموزش توزیع‌شده مدل‌ها ارائه می‌کند.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

PrimeIntellect‑ai مخزنی در گیت‌هاب با نام dion منتشر کرده که پیاده‌سازی‌های کارآمدی از بهینه‌سازهای Dion و Muon برای آموزش توزیع‌شده یادگیری ماشین در خود دارد. این کد با نسخه‌های جدید PyTorch (v2.7 یا جدیدتر) کار می‌کند و از موازی‌سازی مبتنی بر DTensor، از جمله DDP، FSDP2 و موازی‌سازی تانسوری، پشتیبانی می‌کند. کاربران می‌توانند بسته را مستقیماً از مخزن و با pip نصب کنند. فایل README نمونه‌اسکریپت‌هایی برای آموزش یک مدل GPT-small روی هشت GPU دارد.

چرا مهم است

این مخزن به پژوهشگران بهینه‌سازی آماده‌استفاده و کم‌هزینه از نظر ارتباطات می‌دهد که می‌تواند آموزش مدل‌ها در مقیاس بزرگ را سریع‌تر کند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.