# باحثون يطرحون آلية انتباه لانتقاء ما تنساه النماذج

> تتيح آلية الانتباه الجديدة للنماذج إسقاط السياق الوسيط مع الاحتفاظ بالرموز الأقدم، وقد جرى توسيع نطاقها إلى نموذج يضم 110 M من المعاملات.

Oossa · 2026-10-19 · https://oossa.com/ar/researchers-introduce-first-passage-attention-for-selective-forgetting

نشر Yuxuan Liu وزملاؤه ورقة بحثية في Oct 19 2026 وصفوا فيها آلية «انتباه المرور الأول» (FPA). وتخفض FPA قيمة سجلّ المفتاح استنادًا إلى أعمق انخفاض في مجال متعلَّم، ما يسمح لها بمحو الرموز الوسيطة مع الإبقاء على الرموز الأسبق. ويبيّن الباحثون أن رأس FPA ثابت الحجم قادر على انتقاء أي مجموعة فرعية من المفاتيح، وهو ما يتطلب من رؤوس softmax أبعادًا أكبر. وفي نموذج لغوي يضم 110 M من المعاملات، حققت FPA مستوى مماثلًا لمحوّل النسيان (Forgetting Transformer) في مقياس الحيرة، وتميّزت باسترجاع مفاتيح المرور بدقة تامة بعد تدريب أطول بثماني مرات من المعتاد، مستخدمةً نحو 25 % فقط من ذاكرة التخزين المؤقت للقيم والمفاتيح.

## الحقائق

- اقتُرحت آلية انتباه المرور الأول في ورقة نُشرت في Oct 19 2026
- وُسّعت لتعمل في نموذج لغوي يضم 110 M من المعاملات، وحققت استرجاعًا مثاليًا لمفاتيح المرور عند تدريبها لمدة تعادل 8× مدة التدريب المعتادة

## لماذا يهم

تتيح هذه الآلية للنماذج اللغوية الكبيرة الاحتفاظ بالمعلومات البعيدة المهمة مع نسيان الأجزاء الوسيطة غير ذات الصلة بكفاءة، ما يحسّن أداءها عند التعامل مع سياقات طويلة.

## المصادر والمراجع

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

آخر تحديث: 2026-10-19