Oossa

AbridgeKV يقلّص ذاكرة النماذج الاستدلالية إلى الربع

يقول الباحثون إن AbridgeKV يحافظ على الدقة وطول المخرجات، مع تقليل ذاكرة التخزين المؤقت للرموز المُولّدة بنسبة 75% في اختبار شمل 446 مسألة.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

AbridgeKV طريقة لضغط ذاكرة التخزين المؤقت التي تستخدمها نماذج اللغة أثناء توليد سلاسل استدلال طويلة. وفي ورقة نُشرت على arXiv في October 16, 2026، يصف مؤلفوها تدريب النماذج على تلخيص كتل النص المكتملة باستخدام بضعة رموز توقف متعلّمة، ثم حذف إدخالات الذاكرة الأصلية الخاصة بتلك الكتل.

في 446 مسألة تنافسية، أفاد المؤلفون بأن الاحتفاظ بربع الذاكرة المؤقتة المُولّدة حقق دقة وطول مخرجات مماثلين لنموذج دُرّب بالطريقة نفسها مع الاحتفاظ بالذاكرة كاملة. كما أفادوا بأن الذاكرة لكل تسلسل أصبحت أصغر بمقدار 3.5 مرات في vLLM، وأن حل المسائل كان أسرع بمقدار 3.2 مرة على وحدة H100 مشغولة بالكامل؛ لكن الملخص المرفق لا يورد الدرجات ولا يحدد ما إذا كان التحقق مستقلاً.

لماذا يهم

بالنسبة إلى الفرق التي تشغّل مهام استدلال طويلة، قد يتيح خفض الذاكرة المعلن عنه استيعاب عدد أكبر من التسلسلات في الذاكرة، لكن الملخص لا يثبت الأداء خارج اختبارات المسائل التنافسية التي أجراها.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.