Die Forscher Zekun Zhao und sein Team haben Parallel Prompting vorgestellt – ein Verfahren, mit dem sich viele Fragen zu demselben langen Text auf einmal beantworten lassen. Dabei wird jede Frage als eigener Datenstrom innerhalb einer einzigen Anfrage behandelt, sodass das Modell das Dokument pro Schritt nur einmal liest. Die Technik wurde mit wenigen Dutzend Zeilen Code in das SGLang-System integriert, läuft mit CodeLlama‑7B und erzielt deutliche Geschwindigkeitsgewinne. Auf einer Nvidia A100-GPU ist sie 3.7 × schneller, auf einer RTX A6000 etwa 6 × schneller als die Standardkonfiguration von SGLang.
Warum es wichtig ist
Entwickler und Teams für die Datenannotation können so deutlich schneller viele Fragen pro Dokument bearbeiten und ihre GPU-Kosten senken.
