قدّم الباحث Zekun Zhao وفريقه تقنية Parallel Prompting، وهي طريقة للإجابة دفعة واحدة عن أسئلة كثيرة تتعلق بالنص الطويل نفسه. وتعامل التقنية مع كل سؤال بوصفه مسارًا منفصلًا ضمن طلب واحد، بحيث لا يقرأ النموذج المستند إلا مرة واحدة في كل خطوة. ونُفّذت التقنية في نظام SGLang باستخدام بضع عشرات من أسطر الشيفرة، وتعمل على CodeLlama‑7B مع تحقيق مكاسب كبيرة في السرعة. وعلى وحدة Nvidia A100 GPU، كانت أسرع بمقدار 3.7 ×، وعلى RTX A6000 كانت أسرع بنحو 6 × مقارنة بالإعداد القياسي لنظام SGLang.
لماذا يهم
تتيح هذه التقنية للمطورين وفرق وسم البيانات معالجة عدد كبير من الاستعلامات لكل مستند بسرعة أكبر بكثير، ما يقلل تكاليف وحدات GPU.
