# Parallel Prompting beschleunigt Antworten auf mehrere Fragen

> Das neue Verfahren liest ein gemeinsames Dokument pro Decodierschritt nur einmal und verkürzt die Abfragezeit auf Nvidia-GPUs um bis zu das Sechsfache.

Oossa · 2026-11-13 · https://oossa.com/de/parallel-prompting-speeds-up-multi-question-llm-inference

Die Forscher Zekun Zhao und sein Team haben Parallel Prompting vorgestellt – ein Verfahren, mit dem sich viele Fragen zu demselben langen Text auf einmal beantworten lassen. Dabei wird jede Frage als eigener Datenstrom innerhalb einer einzigen Anfrage behandelt, sodass das Modell das Dokument pro Schritt nur einmal liest. Die Technik wurde mit wenigen Dutzend Zeilen Code in das SGLang-System integriert, läuft mit CodeLlama‑7B und erzielt deutliche Geschwindigkeitsgewinne. Auf einer Nvidia A100-GPU ist sie 3.7 × schneller, auf einer RTX A6000 etwa 6 × schneller als die Standardkonfiguration von SGLang.

## Die Fakten

- 3.7 × schneller auf der A100, 5.9‑6.0 × schneller auf der RTX A6000
- Funktioniert mit 64‑256 Fragen zu einem Dokument mit 8k‑16k Tokens

## Warum es wichtig ist

Entwickler und Teams für die Datenannotation können so deutlich schneller viele Fragen pro Dokument bearbeiten und ihre GPU-Kosten senken.

## Quellen und Referenzen

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

Zuletzt aktualisiert: 2026-11-13