# Parallel Prompting versnelt antwoorden op meerdere vragen

> De nieuwe methode leest een gedeeld document bij elke decodeerstap maar één keer en verkort de verwerkingstijd op Nvidia-GPU’s tot zes keer.

Oossa · 2026-11-13 · https://oossa.com/nl/parallel-prompting-speeds-up-multi-question-llm-inference

Onderzoekers onder leiding van Zekun Zhao introduceerden Parallel Prompting, een manier om in één keer veel vragen over dezelfde lange tekst te beantwoorden. Elke vraag wordt daarbij behandeld als een aparte stroom binnen één verzoek, zodat het model het document per stap maar één keer hoeft te lezen. De techniek is met enkele tientallen regels code geïmplementeerd in het SGLang-systeem en draait op CodeLlama‑7B. De snelheidswinst is aanzienlijk: op een Nvidia A100-GPU is de methode 3.7 × sneller en op een RTX A6000 ongeveer 6 × sneller dan de standaardconfiguratie van SGLang.

## De feiten

- 3.7 × sneller op A100; 5.9‑6.0 × sneller op RTX A6000
- Werkt met 64‑256 vragen per document van 8k‑16k tokens

## Waarom het ertoe doet

Ontwikkelaars en teams die data labelen kunnen zo veel sneller meerdere vragen per document verwerken en besparen op GPU-kosten.

## Bronnen en referenties

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

Laatst bijgewerkt: 2026-11-13