Os pesquisadores Zekun Zhao e sua equipe apresentaram o Parallel Prompting, um método para responder de uma só vez a várias perguntas sobre o mesmo texto longo. Cada pergunta é tratada como um fluxo separado dentro de uma única solicitação, de modo que o modelo lê o documento apenas uma vez por etapa. Implementada no sistema SGLang com algumas dezenas de linhas de código, a técnica funciona com o CodeLlama‑7B e oferece grandes ganhos de velocidade. Em uma GPU Nvidia A100, é 3.7 × mais rápida; em uma RTX A6000, é cerca de 6 × mais rápida que a configuração padrão do SGLang.
Por que importa
A técnica permite que desenvolvedores e equipes de rotulagem de dados processem muito mais rapidamente várias consultas por documento, reduzindo os custos com GPUs.
