연구진이 재학습 없이 동결된 언어 모델로 매우 긴 문서를 검색하는 방법인 Periscope를 소개했다. 이 기법은 문서를 여러 조각으로 나눠 정사각형 격자에 배치한 다음, 모델이 두 종류의 구간을 평가하도록 한다. 하나는 서로 이어진 조각들로 이뤄진 근거리 묶음이고, 다른 하나는 문서 전체에서 일정 간격으로 조각을 골라낸 묶음이다. Periscope는 각 구간의 점수를 결합해 답이 들어 있을 가능성이 가장 높은 조각을 가리키는 ‘증거 지도’를 만든다. 이 과정에서 탐색할 때마다 필요한 토큰은 약 √(s·c)개뿐이다. 문서 전체를 한 번에 읽는 것보다 훨씬 적은 양이다. 여기서 s는 문서 길이, c는 조각의 크기다.
성능은 어떨까?
LongBench v2 벤치마크에서 Periscope는 토큰을 9 000개만 읽고도 증거 지도 순위가 가장 높았다. 같은 모델이 32 000~1 000 000개 토큰 길이의 윈도우를 읽었을 때 얻은 최고 성능과 맞먹는 결과다. 문서 길이의 중앙값이 약 150 000토큰인 InfiniteBench에서는 Periscope가 최상의 윈도우 읽기 방식보다 5점 높은 점수를 기록했다. BRIGHT 장문서 코퍼스에서도 6개 방식 가운데 NDCG@10 점수가 가장 높았다.
사용자에게 중요한 이유
Periscope를 사용하면 270억 매개변수 모델을 단일 80 GB GPU에서 450만 토큰 분량의 문서에 적용할 수 있다. 이전에는 그만큼의 텍스트를 한 번에 처리할 때 토큰을 캐시에 저장하는 데만 약 296 GB의 GPU 메모리가 필요했다. GPU에 문서 전체가 아니라 모델만 저장하면 되므로, 사용자는 더 저렴한 하드웨어에서 초장문 문서에 대한 질의를 처리할 수 있다.
왜 중요한가
개발자와 연구자에게 Periscope는 초장문 문서를 다루는 데 드는 하드웨어 비용을 줄여 일반적인 GPU에서도 더 긴 문맥을 분석할 수 있게 한다. 최종 사용자에게는 법률 기록물이나 과학 문헌처럼 방대한 텍스트를 검색하거나 요약하는 서비스가 더 빠르고 저렴해질 가능성이 있다. 다만 논문에 제시된 벤치마크를 넘어선 독립적인 검증은 아직 이뤄지지 않았다.
