Исследователи представили Periscope — метод, который позволяет замороженной языковой модели искать нужную информацию в очень длинных текстах без дополнительного обучения. Документ делят на фрагменты и располагают их на квадратной сетке, после чего модель оценивает два типа последовательностей: группы соседних фрагментов и группы с пропуском, охватывающие весь текст. Объединив оценки, Periscope строит «карту свидетельств», указывающую на фрагмент, в котором с наибольшей вероятностью находится ответ. Для каждой проверки требуется всего около √(s·c) токенов, где s — длина документа, а c — размер фрагмента, вместо того чтобы за один проход читать текст целиком.
Насколько хорошо он работает?
В тесте LongBench v2 карта Periscope показала лучший результат при анализе всего 9 000 токенов — не хуже, чем лучший результат той же модели при чтении окон размером от 32 000 до 1 000 000 токенов. В InfiniteBench, где медианная длина документа составляет около 150 000 токенов, метод опередил лучший вариант чтения окна на пять пунктов. Кроме того, Periscope набрал самый высокий показатель NDCG@10 среди шести методов на наборах длинных документов BRIGHT.
Что это значит для пользователей
С помощью Periscope модель с 27 миллиардами параметров может обрабатывать контекст объёмом 4,5 миллиона токенов на одном GPU с 80 ГБ памяти. Раньше для одного прохода по такому объёму текста требовалось бы около 296 ГБ видеопамяти только для хранения токенов. Это позволяет пользователям выполнять запросы по очень длинным документам на более доступном оборудовании: GPU достаточно хранить модель, а не весь текст.
Почему это важно
Для разработчиков и исследователей Periscope снижает затраты на оборудование при работе с очень длинными документами и позволяет анализировать более крупные контексты на обычных GPU. Для конечных пользователей это может означать более быстрые и дешёвые сервисы для поиска по огромным массивам текстов или их обобщения — например, юридическим архивам или научной литературе. Независимая проверка результатов за пределами бенчмарков, приведённых в статье, ещё не проводилась.
