Parallel Prompting、複数質問へのLLM応答を高速化

研究者のZekun Zhao氏らは、同じ長文について複数の質問にまとめて答える手法「Parallel Prompting」を発表した。1回のリクエスト内で質問ごとに別々の処理ストリームとして扱うため、モデルが文書を読むのは各ステップで一度だけだ。SGLangシステムに数十行のコードを追加して実装でき、CodeLlama‑7Bで大幅な高速化を確認した。Nvidia A100 GPUでは3.7 ×、RTX A6000では標準のSGLang構成と比べて約6 ×高速だった。