Forskarna Zekun Zhao och hans team har presenterat Parallel Prompting, en metod för att besvara många frågor om samma långa text på en gång. Varje fråga hanteras som en separat ström i en och samma begäran, så modellen behöver bara läsa dokumentet en gång per steg. Tekniken har implementerats i systemet SGLang med några dussin rader kod och testats med CodeLlama‑7B, där den gav stora hastighetsvinster. På ett Nvidia A100-grafikkort är den 3.7 × snabbare och på ett RTX A6000 cirka 6 × snabbare än standardkonfigurationen av SGLang.
Varför det spelar roll
Metoden gör att utvecklare och team som arbetar med datamärkning kan hantera många frågor per dokument betydligt snabbare och därmed sänka GPU-kostnaderna.
