Les chercheurs Zekun Zhao et son équipe ont présenté Parallel Prompting, une méthode qui permet de répondre en une seule fois à de nombreuses questions sur un même texte long. Chaque question est traitée comme un flux distinct au sein d’une seule requête, de sorte que le modèle ne lit le document qu’une seule fois par étape. Intégrée au système SGLang en quelques dizaines de lignes de code, la technique fonctionne avec CodeLlama‑7B et offre des gains de vitesse importants. Sur un GPU Nvidia A100, elle est 3.7 × plus rapide ; sur un RTX A6000, elle l’est environ 6 × par rapport à la configuration standard de SGLang.
Pourquoi c'est important
Les développeurs et les équipes d’annotation de données peuvent traiter bien plus rapidement de nombreuses questions par document, ce qui réduit les coûts liés aux GPU.
