Oossa

GateRQ يخفض استخدام جداول الذاكرة في نموذجين لغويين كبيرين

تقترح دراسة جديدة تحديد عدد البتات المقروءة في كل عملية بحث بالذاكرة، وتفيد بانخفاض استهلاك ذاكرة جداول GPU وارتفاع معدل المعالجة في vLLM.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

يقدّم باحثون GateRQ، وهي طريقة لضغط جداول الذاكرة الشرطية، أي مخازن كبيرة لأنماط نصية مرتبطة بنموذج لغوي. وبدلًا من تخصيص دقة إضافية للصفوف التي يكثر الوصول إليها، تستخدم GateRQ قيمة البوابة في عملية البحث لتحديد ما إذا كان ينبغي قراءة رموز إضافية من 1 بت؛ وتذكر الورقة أن حساب قيمة البوابة ممكن انطلاقًا من رمز من 1 بت.

على DeepSeek-V4.1-Flash، أفاد الباحثون بأن استهلاك ذاكرة جداول GPU انخفض 7.8 مرات، وأن معدل المعالجة في vLLM ارتفع بنسبة 11%–31% مقارنة بجداول FP8. كما أفادوا بخسارة نحو نقطة واحدة في PopQA عند قراءة 1.50 بت في المتوسط لكل عملية بحث، أو 0.2 نقطة عند قراءة 2.10 بت، وذلك عبر نموذجين؛ ولا تتطلب الطريقة إعادة التدريب.

لماذا يهم

بالنسبة إلى الفرق التي تشغّل نماذج تستخدم جداول الذاكرة الشرطية، قد تقلل GateRQ استهلاك ذاكرة GPU وترفع معدل المعالجة، لكن النتائج المنشورة لا تثبت أداءها خارج النماذج المختبرة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.