Parallel Prompting让多问题大模型推理提速

研究人员Zekun Zhao及其团队推出了Parallel Prompting，可一次性回答有关同一篇长文本的多个问题。它将每个问题作为单个请求中的独立流处理，因此模型每一步只需读取一次文档。该技术只需几十行代码即可集成到SGLang系统中，并在CodeLlama‑7B上实现显著提速。在Nvidia A100 GPU上，速度提升3.7 倍；在RTX A6000上，相比标准SGLang配置，速度约提升6 倍。