I ricercatori Zekun Zhao e il suo team hanno presentato Parallel Prompting, un metodo per rispondere in un’unica volta a molte domande sullo stesso testo lungo. Ogni domanda viene gestita come un flusso separato all’interno di un’unica richiesta, così il modello legge il documento una sola volta per passaggio. Implementata nel sistema SGLang con poche decine di righe di codice, la tecnica funziona con CodeLlama‑7B e offre notevoli incrementi di velocità. Su una GPU Nvidia A100 è 3.7 × più veloce, mentre su una RTX A6000 è circa 6 × più veloce rispetto alla configurazione SGLang standard.
Perché conta
Permette a sviluppatori e team che si occupano di etichettatura dei dati di elaborare molte più domande per documento in meno tempo, riducendo i costi delle GPU.
