# Parallel Prompting让多问题大模型推理提速

> 这项新方法在每个解码步骤中只读取一次共享文档，在Nvidia GPU上最多可将查询速度提升6倍。

Oossa · 2026-11-13 · https://oossa.com/zh/parallel-prompting-speeds-up-multi-question-llm-inference

研究人员Zekun Zhao及其团队推出了Parallel Prompting，可一次性回答有关同一篇长文本的多个问题。它将每个问题作为单个请求中的独立流处理，因此模型每一步只需读取一次文档。该技术只需几十行代码即可集成到SGLang系统中，并在CodeLlama‑7B上实现显著提速。在Nvidia A100 GPU上，速度提升3.7 倍；在RTX A6000上，相比标准SGLang配置，速度约提升6 倍。

## 事实

- 在A100上提速3.7 倍，在RTX A6000上提速5.9至6.0 倍
- 可处理针对一份8k至16k token文档提出的64至256个问题

## 为什么重要

开发者和数据标注团队可以更快地处理针对每份文档的多个查询，从而降低GPU成本。

## 来源与参考

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

最后更新: 2026-11-13