نشر فريق بقيادة Zhuo Sun أسلوبًا باسم Distributionally Robust Quantization (DRQ) على arXiv. ويعدّل DRQ الرموز الصحيحة للأوزان المكمّمة لتقليل أسوأ خسارة ممكنة في إعادة البناء عبر توزيعات متنوعة للتفعيلات. يعمل الأسلوب بعد التكميم اللاحق للتدريب للأوزان فقط، من دون تغيير شبكة التكميم أو معاملات الاستدلال. وتُظهر التجارب أن DRQ يحسّن النماذج التي سبق تكميمها باستخدام ستة أساليب، منها AWQ وGPTQ وParoQuant، سواء أكانت نماذج LLMs كثيفة أم قائمة على مزيج الخبراء.
لماذا يهم
يتيح للمطورين نشر نماذج LLMs أصغر وأسرع بدقة أفضل، من دون تغيير الأجهزة أو إضافة أعباء وقت التشغيل.
