# Periscope、凍結した言語モデルで長文を効率よく検索

> 新手法Periscopeは追加学習なしで、数百万トークンの文書からGPUメモリを大幅に抑えて答えを探せる。

Oossa · 2026-10-06 · https://oossa.com/ja/periscope-lets-frozen-language-models-scan-longer-texts-efficiently

研究者らは、言語モデルを再学習させずに非常に長い文章を検索できる手法「Periscope」を発表した。この手法では文書をチャンクに分割し、正方形の格子状に配置する。モデルには、連続するチャンクからなる局所的な範囲と、文章全体から間隔を空けてサンプリングした範囲の2種類を評価させる。これらの範囲のスコアを組み合わせて「エビデンスマップ」を作り、答えが含まれている可能性が最も高いチャンクを特定する。文書全体を一度に読む代わりに、各プローブで必要なトークンは約√(s·c)個だけだ。ここでsは文書の長さ、cはチャンクのサイズを表す。

## 性能はどのくらい？

LongBench v2ベンチマークでは、Periscopeはわずか9 000トークンを読んだだけで、マップの順位付け性能が最も高かった。同じモデルで32 000〜1 000 000トークンの範囲を読み込むウィンドウ方式と比べても、最高の結果に並んだ。文書の中央値が約150 000トークンのInfiniteBenchでは、最も性能の高いウィンドウ方式を5ポイント上回った。また、長文書コーパスBRIGHTでは、6つの手法の中でNDCG@10スコアが最も高かった。

## ユーザーにとっての意味

Periscopeを使えば、270億パラメーターのモデルで、80 GBのGPU1基だけを使って450万トークンのコンテキストを扱える。これまでは、これほど大量のテキストを単一のフォワードパスで処理するには、トークンのキャッシュだけで約296 GBのGPUメモリが必要だった。GPUに文書全体ではなくモデルだけを保存すればよいため、より安価なハードウェアで超長文書への問い合わせを実行できる。

## 事実

- PeriscopeはN個のチャンクをK×Kの格子に配置する。K = ⌈√N⌉。
- 各プローブで読むのは約√(s·c)トークンで、Wトークンのウィンドウに対するコストはs^{1.5}となる。
- LongBench v2では、Periscopeはわずか9 000トークンを読むだけで、32 k〜1 Mトークンのウィンドウ方式の最高成績に並んだ。
- InfiniteBenchでは、Periscopeは最も性能の高いウィンドウ方式を5ポイント上回った。
- Periscopeを使うと、270億パラメーターのモデルは80 GBのGPUで450万トークンのコンテキストを処理できる。全文を一度に処理するには296 GBが必要。

## なぜ重要か

開発者や研究者にとって、Periscopeは超長文書を扱う際のハードウェアコストを抑え、一般的なGPUでより大規模なコンテキストを分析できるようにする。エンドユーザーにとっては、法律文書のアーカイブや科学文献など、膨大なテキストの検索・要約に使うサービスが、より速く、安価になる可能性がある。ただし、論文のベンチマーク以外での独立した検証はまだ行われていない。

## 出典と参考資料

1. [Periscope: Extending Frozen Language Models Beyond Their Context Window](https://arxiv.org/abs/2610.04047) – arXiv cs.IR, 2026-10-06

最終更新: 2026-10-06