# Periscope让冻结语言模型高效检索超长文本

> 一种名为Periscope、无需训练的新方法，可让冻结模型在数百万 token 的文档中定位答案，同时大幅减少 GPU 显存占用。

Oossa · 2026-10-06 · https://oossa.com/zh/periscope-lets-frozen-language-models-scan-longer-texts-efficiently

研究人员推出了 Periscope，这种方法无需重新训练，就能让冻结的语言模型检索超长文本。它会将文档切分成多个区块，排列在方形网格中，再让模型评估两类文本跨度：由连续区块组成的局部片段，以及跨步抽样、覆盖全文的片段。Periscope 将这些片段的评分结合起来，生成一张“证据图”，指出最可能包含答案的区块。每次探测只需处理约 √(s·c) 个 token，其中 s 是文档长度，c 是区块大小；相比之下，一次性读取全文需要处理全部内容。

## 效果如何？

在 LongBench v2 基准测试中，Periscope 只读取 9 000 个 token，生成的证据图排名最高；其表现与同一模型在 32 000 至 1 000 000 个 token 窗口下读取文本的最佳成绩相当。在文档中位长度约为 150 000 个 token 的 InfiniteBench 上，该方法比最佳窗口读取结果高出五分。在 BRIGHT 长文档语料库的六种方法中，它的 NDCG@10 得分也位居第一。

## 对用户有何意义

Periscope 可让一个拥有 27 billion 个参数的模型在单张 80 GB GPU 上处理 4.5 million-token 的上下文。此前，仅缓存这些 token，一次性前向处理如此长的文本就需要约 296 GB GPU 显存。这意味着用户可以用更便宜的硬件查询超长文档，因为 GPU 只需存放模型，无需存放整篇文本。

## 事实

- Periscope 会将 N 个区块排列在 K×K 网格中，其中 K = ⌈√N⌉。
- 每次探测读取约 √(s·c) 个 token；对于 W 个 token 的窗口，计算成本为 s^{1.5}。
- 在 LongBench v2 上，Periscope 只读取 9 000 个 token，表现便与窗口长度为 32 k 至 1 M token 时的最佳窗口读取结果相当。
- 在 InfiniteBench 上，Periscope 比最佳窗口读取结果高出 5 分。
- 借助 Periscope，27 B 模型可在 80 GB GPU 上处理 4.5 M-token 上下文；若一次性处理全文，则需要 296 GB 显存。

## 为什么重要

对开发者和研究人员来说，Periscope 降低了处理超长文档的硬件成本，让他们能在常见 GPU 上分析更长的上下文。对普通用户而言，这可能带来更快、更便宜的服务，用于检索或总结法律档案、科学文献等海量文本。不过，除论文所用基准测试外，该方法仍有待独立验证。

## 来源与参考

1. [Periscope: Extending Frozen Language Models Beyond Their Context Window](https://arxiv.org/abs/2610.04047) – arXiv cs.IR, 2026-10-06

最后更新: 2026-10-06