پژوهشگرانی به سرپرستی Jiwon Song روشی به نام Joint Subspace Sparse Attention (JSSA) معرفی کرده‌اند. این روش توکن‌ها را به‌صورت جداگانه انتخاب می‌کند و پیش از آن نیازی به گردآوری آن‌ها ندارد؛ در نتیجه، ترافیک حافظهٔ پنهان KV پایین می‌ماند. JSSA روی یک پردازندهٔ گرافیکی NVIDIA B200، در پنجره‌های متنی 128 K توکنی، به سرعت رمزگشایی تا 6.43× بیشتر از توجه full‑KV دست یافت. دقت آن به دقت full‑KV و توجه متراکم‌ـ‌تنک بومی مدل نزدیک ماند؛ حتی در مدل‌هایی با حداکثر 700 B پارامتر.
چرا مهم است
رمزگشایی سریع‌تر در پنجره‌های متنی بلند به توسعه‌دهندگان امکان می‌دهد دستیارهای هوش مصنوعی ارزان‌تر و پاسخ‌گوتری بسازند که بتوانند اسناد بسیار بزرگی را بخوانند و به آن‌ها پاسخ دهند.
