Исследователь Зекун Чжао и его коллеги представили Parallel Prompting — метод, который позволяет за один раз отвечать на множество вопросов по одному длинному тексту. Каждый вопрос обрабатывается как отдельный поток в рамках одного запроса, поэтому модель читает документ только один раз на каждом шаге. Метод реализован в системе SGLang всего в нескольких десятках строк кода, работает с CodeLlama‑7B и заметно ускоряет обработку. На GPU Nvidia A100 он работает в 3.7 × раза быстрее, а на RTX A6000 — примерно в 6 × раз быстрее, чем стандартная конфигурация SGLang.
Почему это важно
Разработчики и команды по разметке данных смогут гораздо быстрее обрабатывать множество запросов по каждому документу, сокращая расходы на GPU.
