# Исследователи представили First Passage Attention для выборочного забывания

> Новый метод внимания позволяет моделям отбрасывать промежуточный контекст, сохраняя более ранние токены; он масштабируется до модели с 110 M параметров.

Oossa · 2026-10-19 · https://oossa.com/ru/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu и соавторы опубликовали 19 октября 2026 года статью, в которой описали First Passage Attention (FPA). FPA снижает логит ключа в зависимости от самой глубокой впадины в обучаемом поле, благодаря чему метод может стирать промежуточные токены, сохраняя более ранние. Авторы показывают, что голова FPA фиксированного размера может выбирать любое подмножество ключей, тогда как для этого головам softmax требуется большая размерность. В языковой модели с 110 M параметров FPA показывает такую же перплексию, как Forgetting Transformer, и единственный метод, который безошибочно извлекает ключи доступа после обучения в восемь раз дольше обычного, используя лишь около 25 % кэша ключей и значений.

## Факты

- First Passage Attention предложен в статье, опубликованной 19 октября 2026 года
- Метод масштабирован до языковой модели с 110 M параметров и обеспечил безошибочное извлечение ключей доступа при обучении в 8× дольше обычного

## Почему это важно

Метод помогает большим языковым моделям сохранять важную информацию из далёкого контекста и эффективно забывать несущественные промежуточные фрагменты, улучшая работу с длинным контекстом.

## Источники и ссылки

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

Обновлено: 2026-10-19