# Parallel Prompting ускоряет ответы на вопросы по длинным текстам

> Метод читает общий документ один раз на каждом шаге генерации и сокращает время обработки запросов до шести раз на GPU Nvidia.

Oossa · 2026-11-13 · https://oossa.com/ru/parallel-prompting-speeds-up-multi-question-llm-inference

Исследователь Зекун Чжао и его коллеги представили Parallel Prompting — метод, который позволяет за один раз отвечать на множество вопросов по одному длинному тексту. Каждый вопрос обрабатывается как отдельный поток в рамках одного запроса, поэтому модель читает документ только один раз на каждом шаге. Метод реализован в системе SGLang всего в нескольких десятках строк кода, работает с CodeLlama‑7B и заметно ускоряет обработку. На GPU Nvidia A100 он работает в 3.7 × раза быстрее, а на RTX A6000 — примерно в 6 × раз быстрее, чем стандартная конфигурация SGLang.

## Факты

- В 3.7 × раза быстрее на A100, в 5.9‑6.0 × раза быстрее на RTX A6000
- Работает с 64‑256 вопросами по документу объёмом 8k‑16k токенов

## Почему это важно

Разработчики и команды по разметке данных смогут гораздо быстрее обрабатывать множество запросов по каждому документу, сокращая расходы на GPU.

## Источники и ссылки

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

Обновлено: 2026-11-13