# Parallel Prompting, 다중 질문 LLM 추론 속도 높인다

> 새 기법은 디코딩 단계마다 공통 문서를 한 번만 읽어 Nvidia GPU에서 질의 처리 시간을 최대 6배 단축한다.

Oossa · 2026-11-13 · https://oossa.com/ko/parallel-prompting-speeds-up-multi-question-llm-inference

Zekun Zhao 연구팀은 하나의 긴 문서에 관한 여러 질문에 한꺼번에 답하는 방법인 Parallel Prompting을 소개했다. 이 기법은 하나의 요청 안에서 각 질문을 별도의 스트림으로 처리해 모델이 단계마다 문서를 한 번만 읽도록 한다. 수십 줄의 코드로 SGLang 시스템에 구현했으며, CodeLlama‑7B에서 큰 폭의 속도 향상을 보였다. Nvidia A100 GPU에서는 3.7 ×, RTX A6000에서는 기존 SGLang 설정 대비 약 6 × 빠르다.

## 팩트

- A100에서 3.7 ×, RTX A6000에서 5.9‑6.0 × 빠름
- 8k‑16k 토큰 문서당 질문 64‑256개 처리 가능

## 왜 중요한가

개발자와 데이터 라벨링 팀이 문서 하나에 관한 여러 질의를 훨씬 빠르게 처리해 GPU 비용을 줄일 수 있다.

## 출처 및 참고 자료

1. [Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference](https://arxiv.org/abs/2611.15130) – arXiv, 2026-11-13

최종 업데이트: 2026-11-13