Yuxuan Liu 与合著者于 2026 年 10 月 19 日发布论文，介绍了 First Passage Attention（FPA）。FPA 根据一个学习得到的场的最低点来降低键的 logit，因此能够删除中间 token，同时保留更早的 token。作者展示，固定尺寸的 FPA 注意力头可以选择任意一组键，而 softmax 注意力头要做到这一点则需要更大的维度。在一个 110 M 参数语言模型中，FPA 的困惑度与 Forgetting Transformer 相当；在训练时长达到常规水平 8 倍后，它还能独有地实现对通行密钥的完美检索，同时仅使用约 25% 的键值缓存。
为什么重要
它能让大型语言模型保留重要的远距离信息，同时高效遗忘无关的中间内容，从而提升长上下文处理能力。
