پژوهشگر، Zekun Zhao، و همکارانش روش Parallel Prompting را معرفی کرده‌اند؛ روشی برای پاسخ‌گویی یک‌باره به پرسش‌های متعدد درباره یک متن طولانی. در این روش، هر پرسش به‌صورت جریانی جداگانه در یک درخواست واحد پردازش می‌شود و مدل در هر گام فقط یک‌بار سند را می‌خواند. این روش که با چند ده خط کد در سیستم SGLang پیاده‌سازی شده، روی CodeLlama‑7B اجرا می‌شود و افزایش سرعت چشمگیری دارد. سرعت آن روی GPU مدل Nvidia A100 برابر با 3.7 × و روی RTX A6000 حدود 6 × بیشتر از پیکربندی استاندارد SGLang است.
چرا مهم است
این روش به توسعه‌دهندگان و تیم‌های برچسب‌گذاری داده امکان می‌دهد پرسش‌های بیشتری را درباره هر سند، بسیار سریع‌تر پردازش کنند و هزینه‌های GPU را کاهش دهند.
