# 중간 정보는 잊고 오래된 토큰은 보존하는 새 어텐션 기법

> 새 어텐션 방식은 모델이 중간 문맥을 버리면서도 이전 토큰을 유지하게 한다. 110 M 파라미터 모델까지 확장됐다.

Oossa · 2026-10-19 · https://oossa.com/ko/researchers-introduce-first-passage-attention-for-selective-forgetting

Yuxuan Liu와 공동 저자들은 2026년 10월 19일 First Passage Attention(FPA)을 소개하는 논문을 공개했다. FPA는 학습된 필드가 가장 깊게 하강하는 지점을 기준으로 키의 로짓을 낮춰, 앞선 토큰은 보존하면서 중간 토큰은 지울 수 있게 한다. 저자들은 고정된 크기의 FPA 헤드가 키의 임의 부분집합을 선택할 수 있다고 밝혔다. 소프트맥스 헤드는 이를 위해 더 큰 차원이 필요하다. 110 M 파라미터 언어 모델에서 FPA는 Forgetting Transformer와 같은 퍼플렉시티를 기록했으며, 일반적인 학습 길이의 8배에 이른 뒤에도 패스키를 완벽하게 검색한 유일한 모델이었다. 이때 사용한 키-값 캐시는 약 25%에 불과했다.

## 팩트

- First Passage Attention은 2026년 10월 19일 공개된 논문에서 제안됐다
- 110 M 파라미터 언어 모델로 확장됐으며, 학습 길이의 8배에 이르러 패스키를 완벽하게 검색했다

## 왜 중요한가

대규모 언어 모델이 중요한 원거리 정보는 유지하면서 관련 없는 중간 정보를 효율적으로 잊게 해, 긴 문맥 처리 성능을 높일 수 있다.

## 출처 및 참고 자료

1. [First Passage Attention](https://arxiv.org/abs/2610.22714) – arXiv, 2026-10-19

최종 업데이트: 2026-10-19