Parallel Prompting, 다중 질문 LLM 추론 속도 높인다

새 기법은 디코딩 단계마다 공통 문서를 한 번만 읽어 Nvidia GPU에서 질의 처리 시간을 최대 6배 단축한다.

짧은 소식작성: OossaOossa 게시일: 2026년 11월 13일 오전 7:52 UTC1 분 읽기

Zekun Zhao 연구팀은 하나의 긴 문서에 관한 여러 질문에 한꺼번에 답하는 방법인 Parallel Prompting을 소개했다. 이 기법은 하나의 요청 안에서 각 질문을 별도의 스트림으로 처리해 모델이 단계마다 문서를 한 번만 읽도록 한다. 수십 줄의 코드로 SGLang 시스템에 구현했으며, CodeLlama‑7B에서 큰 폭의 속도 향상을 보였다. Nvidia A100 GPU에서는 3.7 ×, RTX A6000에서는 기존 SGLang 설정 대비 약 6 × 빠르다.