Los investigadores Zekun Zhao y su equipo presentaron Parallel Prompting, un método para responder de una vez muchas preguntas sobre un mismo texto largo. Trata cada pregunta como un flujo separado dentro de una única solicitud, de modo que el modelo lee el documento una sola vez por paso. Implementada en el sistema SGLang con unas pocas decenas de líneas de código, la técnica funciona con CodeLlama‑7B y ofrece grandes mejoras de velocidad. En una GPU Nvidia A100 es 3.7 × más rápida, y en una RTX A6000, alrededor de 6 × más rápida que la configuración estándar de SGLang.
Por qué importa
Permite a desarrolladores y equipos de etiquetado de datos procesar muchas más consultas por documento en menos tiempo y reducir los costos de GPU.
