# Parallel Prompting、複数質問へのLLM応答を高速化

> 共有文書をデコードの各ステップで一度だけ読み込む新手法。Nvidia GPUで質問処理を最大6倍高速化する。

Oossa · 2026-11-13 · https://oossa.com/ja/parallel-prompting-speeds-up-multi-question-llm-inference

研究者のZekun Zhao氏らは、同じ長文について複数の質問にまとめて答える手法「Parallel Prompting」を発表した。1回のリクエスト内で質問ごとに別々の処理ストリームとして扱うため、モデルが文書を読むのは各ステップで一度だけだ。SGLangシステムに数十行のコードを追加して実装でき、CodeLlama‑7Bで大幅な高速化を確認した。Nvidia A100 GPUでは3.7 ×、RTX A6000では標準のSGLang構成と比べて約6 ×高速だった。

## 事実

- A100では3.7 ×高速、RTX A6000では5.9‑6.0 ×高速
- 8k‑16kトークンの文書に対し、64‑256件の質問に対応

## なぜ重要か

開発者やデータラベリングチームは、1つの文書に対する多数の質問をより短時間で処理でき、GPUコストを削減できる。

## 出典と参考資料

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

最終更新: 2026-11-13