Yuxuan Liu와 공동 저자들은 2026년 10월 19일 First Passage Attention(FPA)을 소개하는 논문을 공개했다. FPA는 학습된 필드가 가장 깊게 하강하는 지점을 기준으로 키의 로짓을 낮춰, 앞선 토큰은 보존하면서 중간 토큰은 지울 수 있게 한다. 저자들은 고정된 크기의 FPA 헤드가 키의 임의 부분집합을 선택할 수 있다고 밝혔다. 소프트맥스 헤드는 이를 위해 더 큰 차원이 필요하다. 110 M 파라미터 언어 모델에서 FPA는 Forgetting Transformer와 같은 퍼플렉시티를 기록했으며, 일반적인 학습 길이의 8배에 이른 뒤에도 패스키를 완벽하게 검색한 유일한 모델이었다. 이때 사용한 키-값 캐시는 약 25%에 불과했다.
왜 중요한가
대규모 언어 모델이 중요한 원거리 정보는 유지하면서 관련 없는 중간 정보를 효율적으로 잊게 해, 긴 문맥 처리 성능을 높일 수 있다.
