Jiwon Song के नेतृत्व में शोधकर्ताओं ने Joint Subspace Sparse Attention (JSSA) नाम की तकनीक जारी की। यह टोकन को पहले एक जगह इकट्ठा किए बिना, एक-एक करके चुनती है, जिससे KV-cache ट्रैफ़िक कम रहता है। NVIDIA B200 GPU पर JSSA ने 128 K टोकन वाले संदर्भों में full‑KV attention के मुकाबले 6.43× तक तेज़ डिकोडिंग हासिल की। सटीकता full‑KV और मॉडल की मूल dense‑sparse attention के करीब रही—यहां तक कि 700 B पैरामीटर तक के मॉडल में भी।
यह क्यों मायने रखता है
लंबे संदर्भों में तेज़ डिकोडिंग से डेवलपर ऐसे AI असिस्टेंट बना सकते हैं जो बहुत बड़े दस्तावेज़ पढ़कर कम लागत में और अधिक तत्परता से जवाब दें।
