أعلن باحثون بقيادة جيوون سونغ عن تقنية تُسمى Joint Subspace Sparse Attention (JSSA). وتختار التقنية الرموز كلًّا على حدة من دون جمعها مسبقًا، ما يقلل حركة البيانات في ذاكرة KV المؤقتة. وعلى وحدة معالجة الرسوميات NVIDIA B200، حققت JSSA سرعة فك ترميز تصل إلى 6.43× مقارنةً بالانتباه الكامل المعتمد على KV، في سياقات من 128 K رمز. وظلت الدقة قريبة من الانتباه الكامل المعتمد على KV ومن الانتباه الكثيف-المتفرق الأصلي للنموذج، حتى مع نماذج يصل حجمها إلى 700 B معامل.
لماذا يهم
يسمح فك الترميز الأسرع للسياقات الطويلة للمطورين ببناء مساعدين للذكاء الاصطناعي أقل تكلفة وأسرع استجابة، قادرين على قراءة مستندات ضخمة والرد عليها.
