새 arXiv 논문은 아주 긴 글을 처리할 때 어떤 정보를 남길지 판단하도록 훈련된 AI 에이전트 MEMENTO를 소개한다. 책 관련 질문을 대상으로 한 테스트에서 이 시스템은 한 번에 사용하는 문맥을 20,000토큰 이하로 유지하면서 Qwen3-8B의 정확도를 36.9%에서 67.8%로 끌어올렸다. 테스트에 사용된 책은 최대 2.5 million tokens 분량이었다.
이 접근법은 AI 시스템이 긴 대화나 문서 전체를 작업 문맥에 항상 담아둘 수는 없다는 근본적인 문제를 다룬다. 흔히 쓰이는 해결책 가운데 하나는 ‘압축(compaction)’으로, 앞서 나온 내용을 더 짧은 메모로 바꾸는 방식이다. 논문은 GPT-5.5와 GLM-5.3을 포함한 기성 에이전트가 메모를 제대로 작성하지 못하는 경우가 많고, 강화학습만으로는 효과적인 메모 작성법을 익히기 어렵다고 설명한다.
MEMENTO의 문맥 관리 방식
MEMENTO는 Qwen3-8B를 기반으로 만들어졌다. 학습은 사후 정보를 활용해 메모를 생성한 합성 사례로 시작했으며, 이후 이 사례를 이용해 모델을 미세 조정했다. 연구팀은 모델에 피드백을 주어 성능을 개선하는 방식인 강화학습도 적용했다. 보상은 답변의 정확성, 메모의 품질, 그리고 에이전트의 자신감이 실제 성능과 얼마나 일치하는지를 기준으로 산정했다.
시스템은 대화 이력을 압축해 새로운 문맥 창에 담도록 훈련됐다. 그러나 논문에 따르면 테스트 시에는 정보를 문맥에 다시 반영하거나 자신감이 낮을 때 앞부분의 내용을 다시 살펴보는 등의 방법도 사용했다. 이런 전략을 통해 에이전트는 책 전체를 작업 중인 문맥에 불러오지 않고도 긴 책을 처리할 수 있다.
결과가 보여주는 것
책 관련 질의응답 벤치마크 4종에서 MEMENTO는 67.8%를 기록했다. 같은 테스트 환경에서 GPT-5.5 에이전트는 13.1%, 책 전체를 문맥으로 제공한 비교 대상은 56.7%였다. 대략 100배 더 큰 모델이라고 논문이 설명한 GLM-5.3 에이전트를 상대로는 69.3%를 기록했다. 논문에 따르면 MEMENTO의 비용은 GPT-5.5 에이전트의 1/50 미만, GLM-5.3 에이전트의 1/9이었다. 책 전체를 문맥으로 사용하는 GLM-5.3보다 비용은 1/26에 그치면서 점수 차이는 6.4 percentage points 이내였다.
이는 논문 저자들이 보고한 결과이며, MEMENTO가 다른 작업이나 문서에서도 같은 성능을 낸다는 증거는 아니다. 초록에는 벤치마크 이름이나 비용(달러 기준), 모델을 공개적으로 사용할 수 있는지에 관한 세부 정보가 나와 있지 않다. 연구 결과는 논문에 기술된 테스트 환경과 책 전체를 대상으로 한 질의응답에 한정된다.
왜 중요한가
긴 책에 관한 질문에 답하는 AI 도구를 개발하는 사람들에게 MEMENTO는 학습된 메모 작성 방식이 모델이 한 번에 보유해야 하는 텍스트의 양을 줄일 수 있음을 시사한다. 다만 보고된 성능 향상은 책 관련 질문 테스트에 국한돼 있어, 다른 긴 문서나 일상적인 용도에도 이 방식이 도움이 될지는 아직 불분명하다.
