Yuxuan Liu и соавторы опубликовали 19 октября 2026 года статью, в которой описали First Passage Attention (FPA). FPA снижает логит ключа в зависимости от самой глубокой впадины в обучаемом поле, благодаря чему метод может стирать промежуточные токены, сохраняя более ранние. Авторы показывают, что голова FPA фиксированного размера может выбирать любое подмножество ключей, тогда как для этого головам softmax требуется большая размерность. В языковой модели с 110 M параметров FPA показывает такую же перплексию, как Forgetting Transformer, и единственный метод, который безошибочно извлекает ключи доступа после обучения в восемь раз дольше обычного, используя лишь около 25 % кэша ключей и значений.
Почему это важно
Метод помогает большим языковым моделям сохранять важную информацию из далёкого контекста и эффективно забывать несущественные промежуточные фрагменты, улучшая работу с длинным контекстом.
