Onderzoekers onder leiding van Zekun Zhao introduceerden Parallel Prompting, een manier om in één keer veel vragen over dezelfde lange tekst te beantwoorden. Elke vraag wordt daarbij behandeld als een aparte stroom binnen één verzoek, zodat het model het document per stap maar één keer hoeft te lezen. De techniek is met enkele tientallen regels code geïmplementeerd in het SGLang-systeem en draait op CodeLlama‑7B. De snelheidswinst is aanzienlijk: op een Nvidia A100-GPU is de methode 3.7 × sneller en op een RTX A6000 ongeveer 6 × sneller dan de standaardconfiguratie van SGLang.
Waarom het ertoe doet
Ontwikkelaars en teams die data labelen kunnen zo veel sneller meerdere vragen per document verwerken en besparen op GPU-kosten.
