研究人员推出了 Periscope，这种方法无需重新训练，就能让冻结的语言模型检索超长文本。它会将文档切分成多个区块，排列在方形网格中，再让模型评估两类文本跨度：由连续区块组成的局部片段，以及跨步抽样、覆盖全文的片段。Periscope 将这些片段的评分结合起来，生成一张“证据图”，指出最可能包含答案的区块。每次探测只需处理约 √(s·c) 个 token，其中 s 是文档长度，c 是区块大小；相比之下，一次性读取全文需要处理全部内容。
效果如何？
在 LongBench v2 基准测试中，Periscope 只读取 9 000 个 token，生成的证据图排名最高；其表现与同一模型在 32 000 至 1 000 000 个 token 窗口下读取文本的最佳成绩相当。在文档中位长度约为 150 000 个 token 的 InfiniteBench 上，该方法比最佳窗口读取结果高出五分。在 BRIGHT 长文档语料库的六种方法中，它的 NDCG@10 得分也位居第一。
对用户有何意义
Periscope 可让一个拥有 27 billion 个参数的模型在单张 80 GB GPU 上处理 4.5 million-token 的上下文。此前，仅缓存这些 token，一次性前向处理如此长的文本就需要约 296 GB GPU 显存。这意味着用户可以用更便宜的硬件查询超长文档，因为 GPU 只需存放模型，无需存放整篇文本。
为什么重要
对开发者和研究人员来说，Periscope 降低了处理超长文档的硬件成本，让他们能在常见 GPU 上分析更长的上下文。对普通用户而言，这可能带来更快、更便宜的服务，用于检索或总结法律档案、科学文献等海量文本。不过，除论文所用基准测试外，该方法仍有待独立验证。
