研究者らは、言語モデルを再学習させずに非常に長い文章を検索できる手法「Periscope」を発表した。この手法では文書をチャンクに分割し、正方形の格子状に配置する。モデルには、連続するチャンクからなる局所的な範囲と、文章全体から間隔を空けてサンプリングした範囲の2種類を評価させる。これらの範囲のスコアを組み合わせて「エビデンスマップ」を作り、答えが含まれている可能性が最も高いチャンクを特定する。文書全体を一度に読む代わりに、各プローブで必要なトークンは約√(s·c)個だけだ。ここでsは文書の長さ、cはチャンクのサイズを表す。
性能はどのくらい？
LongBench v2ベンチマークでは、Periscopeはわずか9 000トークンを読んだだけで、マップの順位付け性能が最も高かった。同じモデルで32 000〜1 000 000トークンの範囲を読み込むウィンドウ方式と比べても、最高の結果に並んだ。文書の中央値が約150 000トークンのInfiniteBenchでは、最も性能の高いウィンドウ方式を5ポイント上回った。また、長文書コーパスBRIGHTでは、6つの手法の中でNDCG@10スコアが最も高かった。
ユーザーにとっての意味
Periscopeを使えば、270億パラメーターのモデルで、80 GBのGPU1基だけを使って450万トークンのコンテキストを扱える。これまでは、これほど大量のテキストを単一のフォワードパスで処理するには、トークンのキャッシュだけで約296 GBのGPUメモリが必要だった。GPUに文書全体ではなくモデルだけを保存すればよいため、より安価なハードウェアで超長文書への問い合わせを実行できる。
なぜ重要か
開発者や研究者にとって、Periscopeは超長文書を扱う際のハードウェアコストを抑え、一般的なGPUでより大規模なコンテキストを分析できるようにする。エンドユーザーにとっては、法律文書のアーカイブや科学文献など、膨大なテキストの検索・要約に使うサービスが、より速く、安価になる可能性がある。ただし、論文のベンチマーク以外での独立した検証はまだ行われていない。
