Oossa

LayerTrim تقلّص النماذج من دون تدريب وتحافظ على قدرتها على الاستدلال

تقلّص طريقة LayerTrim أجزاءً من طبقات MLP في وحدات فك الترميز، فتسرّع Qwen3‑14B بمقدار 1.24× وتخفض استهلاك الذاكرة بنسبة 19.7% مع الحفاظ على الاستدلال المطوّل.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

قدّم باحثون LayerTrim، وهي تقنية تقليم منظّم للنماذج اللغوية الكبيرة لا تتطلب تدريبًا. تزيل التقنية طبقات فك ترميز زائدة، مع الإبقاء على آليات الانتباه، ما يساعد في الحفاظ على الأداء في المهام التي تتطلب استدلالًا مطوّلًا. وفي نموذج Qwen3 ذي 14 مليار معلمة، تجعل LayerTrim مرحلة الملء الأولي أسرع بمقدار 1.24 مرة، وتخفض ذروة استخدام ذاكرة GPU بنسبة 19.7% مقارنةً بالنموذج غير المقلّم. وعبر ثلاثة نماذج وخمسة معايير قياس، حسّنت متوسط الدقة بما يصل إلى 21.4 نقطة مقارنةً بطريقة RESP السابقة.

لماذا يهم

يمكن للمطورين نشر نماذج لغوية أصغر وأسرع لمهام الاستدلال من دون تكبّد كلفة إعادة التدريب.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.