Oossa

NVIDIA تطلق Nemotron‑Labs‑Sigma، نموذج لغة بالانتشار المستمر أسرع

تتيح NVIDIA عددًا من نقاط التحقق المفتوحة لـ14 نموذجًا بمعاملات 3B و8B، تفكّك النصوص بسرعة تصل إلى 4.2× مقارنةً بنماذج اللغة التوليدية ذاتية الانحدار التقليدية.

بقلم نشرته Oossa: 1 دقائق قراءة

Museums Victoria · Unsplash

أعلنت NVIDIA عن عائلة جديدة من نماذج اللغة باسم Nemotron‑Labs‑Sigma، ونشرت 14 نقطة تحقق — بإصدارات تضم ثلاثة مليارات (3B) وثمانية مليارات (8B) من المعاملات — على منصة Hugging Face للنماذج. تستخدم النماذج عملية انتشار مستمرة لإزالة التشويش عن النصوص في فضاء تضمين متعلَّم ذي 16 بُعدًا. وتقول NVIDIA إن ذلك يتيح لها توليد النصوص بسرعة تصل إلى 4.20 أضعاف سرعة فك الترميز ذاتي الانحدار المعتاد.

ما الذي يميّز نهج الانتشار؟

تولّد نماذج اللغة الكبيرة (LLMs) التقليدية رمزًا تلو الآخر، في أسلوب يُعرف بفك الترميز ذاتي الانحدار. أما Nemotron‑Labs‑Sigma، فتبدأ بتمثيل مشوش للجملة بأكملها، ثم تزيل التشويش تدريجيًا، على غرار طريقة إنشاء نماذج انتشار الصور للصور. ولأن عملية الانتشار تجري في فضاء منخفض الأبعاد، تستطيع NVIDIA اختزالها إلى عدد قليل جدًا من الخطوات — يصل إلى تمريرين أماميين فقط لنموذج 3B — مع الحفاظ على جودة عالية. وأضافت الشركة أيضًا وضعًا «تخمينيًا» من خطوة واحدة لنقطة التحقق 8B، يرفع معدل الإنتاجية بمقدار 3.5× إضافية وفق معيار GB200.

الأداء في الاختبارات المعيارية

في الورقة البحثية التي قدّمت النماذج، قارن المؤلفون Sigma بأحدث نماذج الانتشار المتقطعة وبنماذج مرجعية تقليدية ذاتية الانحدار، عبر مجموعة من المهام. بعد التدريب المسبق، تفوّق Sigma على النماذج الأخرى في اختبارات الرياضيات والبرمجة، مثل GSM8K وHumanEval وMBPP. وبعد الضبط الدقيق الخاضع للإشراف، اتسع الفارق في المسائل الأصعب مثل MATH‑500 وAIME، وكانت أكبر التحسينات في توليد الشيفرات. وحققت الإصدارات المقطّرة ذات الخطوات القليلة تسريعًا بنحو 8× في مهام الرياضيات و4× في مهام البرمجة، مع انخفاض طفيف في الدقة.

لماذا يهم

قد يساهم فك الترميز الأسرع في Sigma في تقليل زمن الاستجابة وتكاليف الحوسبة السحابية للمطورين الذين يحتاجون إلى ردود سريعة، مثل مطوري مساعدات البرمجة وروبوتات المحادثة الفورية. كما تتيح نقاط التحقق المفتوحة للباحثين تجربة التوليد القائم على الانتشار من دون بناء النماذج من الصفر. ولا يزال التحقق المستقل من ادعاءات السرعة غير متاح، لذا قد تختلف المكاسب في الاستخدام الفعلي.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.