# 研究人员推出 First Passage Attention，实现选择性遗忘

> 一种新的注意力方法可让模型丢弃中间上下文，同时保留更早的 token，并已扩展至 110 M 参数模型。

Oossa · 2026-10-19 · https://oossa.com/zh/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu 与合著者于 2026 年 10 月 19 日发布论文，介绍了 First Passage Attention（FPA）。FPA 根据一个学习得到的场的最低点来降低键的 logit，因此能够删除中间 token，同时保留更早的 token。作者展示，固定尺寸的 FPA 注意力头可以选择任意一组键，而 softmax 注意力头要做到这一点则需要更大的维度。在一个 110 M 参数语言模型中，FPA 的困惑度与 Forgetting Transformer 相当；在训练时长达到常规水平 8 倍后，它还能独有地实现对通行密钥的完美检索，同时仅使用约 25% 的键值缓存。

## 事实

- First Passage Attention 于 2026 年 10 月 19 日发布的一篇论文中提出
- 该方法扩展至 110 M 参数语言模型，并在训练时长达到 8 倍时实现了对通行密钥的完美检索

## 为什么重要

它能让大型语言模型保留重要的远距离信息，同时高效遗忘无关的中间内容，从而提升长上下文处理能力。

## 来源与参考

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

最后更新: 2026-10-19