# Parallel Prompting acelera la inferencia con varias preguntas

> El nuevo método lee un documento compartido una sola vez por paso de decodificación y reduce hasta seis veces el tiempo de consulta en GPU Nvidia.

Oossa · 2026-11-13 · https://oossa.com/es/parallel-prompting-speeds-up-multi-question-llm-inference

Los investigadores Zekun Zhao y su equipo presentaron Parallel Prompting, un método para responder de una vez muchas preguntas sobre un mismo texto largo. Trata cada pregunta como un flujo separado dentro de una única solicitud, de modo que el modelo lee el documento una sola vez por paso. Implementada en el sistema SGLang con unas pocas decenas de líneas de código, la técnica funciona con CodeLlama‑7B y ofrece grandes mejoras de velocidad. En una GPU Nvidia A100 es 3.7 × más rápida, y en una RTX A6000, alrededor de 6 × más rápida que la configuración estándar de SGLang.

## Los hechos

- 3.7 × más rápida en A100; entre 5.9 y 6.0 × más rápida en RTX A6000
- Funciona con entre 64 y 256 preguntas por documento de 8k‑16k tokens

## Por qué importa

Permite a desarrolladores y equipos de etiquetado de datos procesar muchas más consultas por documento en menos tiempo y reducir los costos de GPU.

## Fuentes y referencias

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

Última actualización: 2026-11-13