# پژوهشگران روش «توجه به نخستین گذر» را برای فراموشی گزینشی معرفی کردند

> روش جدیدی برای توجه به مدل‌ها امکان می‌دهد ضمن حفظ توکن‌های قدیمی‌تر، اطلاعات میانی را کنار بگذارند؛ این روش در مدلی با 110 M پارامتر هم به کار گرفته شده است.

Oossa · 2026-10-19 · https://oossa.com/fa/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu و همکارانش مقاله‌ای را در Oct 19 2026 منتشر کردند که در آن روش «توجه به نخستین گذر» (FPA) را توضیح می‌دهند. FPA بر اساس عمیق‌ترین افتِ یک میدانِ یادگرفته‌شده، لاجیتِ یک کلید را کاهش می‌دهد و به این ترتیب می‌تواند توکن‌های میانی را حذف کند، در حالی که توکن‌های قدیمی‌تر را نگه می‌دارد. نویسندگان نشان می‌دهند یک سرِ FPA با اندازه ثابت می‌تواند هر زیرمجموعه‌ای از کلیدها را انتخاب کند؛ کاری که سرهای softmax برای انجامش به بُعد بزرگ‌تری نیاز دارند. در یک مدل زبانی با 110 M پارامتر، FPA از نظر پرپلکسیتی با Forgetting Transformer برابری می‌کند و تنها روشی است که پس از آموزشی هشت‌برابر طولانی‌تر از معمول، کلیدهای عبور را بی‌نقص بازیابی می‌کند؛ آن هم با استفاده از حدود 25 % از حافظه نهان کلید-مقدار.

## حقایق

- روش First Passage Attention در مقاله‌ای که در Oct 19 2026 منتشر شد، پیشنهاد شده است
- این روش در مدل زبانی با 110 M پارامتر به کار گرفته شد و پس از آموزشی با طول 8×، کلیدهای عبور را بی‌نقص بازیابی کرد

## چرا مهم است

این روش به مدل‌های زبانی بزرگ کمک می‌کند اطلاعات دوردستِ مهم را نگه دارند و بخش‌های میانیِ نامرتبط را با کارایی بیشتری فراموش کنند؛ در نتیجه، عملکردشان در پردازش متن‌های طولانی بهبود می‌یابد.

## منابع و ارجاع‌ها

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

آخرین به‌روزرسانی: 2026-10-19