# Joint Subspace Sparse Attention से लंबे संदर्भों में LLM डिकोडिंग तेज़

> नई JSSA विधि 128K टोकन वाले संदर्भों में 6.4× तक तेज़ डिकोडिंग करती है और सटीकता लगभग full attention जितनी बनाए रखती है।

Oossa · 2026-10-15 · https://oossa.com/hi/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

Jiwon Song के नेतृत्व में शोधकर्ताओं ने Joint Subspace Sparse Attention (JSSA) नाम की तकनीक जारी की। यह टोकन को पहले एक जगह इकट्ठा किए बिना, एक-एक करके चुनती है, जिससे KV-cache ट्रैफ़िक कम रहता है। NVIDIA B200 GPU पर JSSA ने 128 K टोकन वाले संदर्भों में full‑KV attention के मुकाबले 6.43× तक तेज़ डिकोडिंग हासिल की। सटीकता full‑KV और मॉडल की मूल dense‑sparse attention के करीब रही—यहां तक कि 700 B पैरामीटर तक के मॉडल में भी।

## तथ्य

- प्रकाशित: Thu Oct 15 2026
- स्पीडअप: NVIDIA B200 GPU पर 128K‑टोकन वाले संदर्भ में 6.43× तक

## यह क्यों मायने रखता है

लंबे संदर्भों में तेज़ डिकोडिंग से डेवलपर ऐसे AI असिस्टेंट बना सकते हैं जो बहुत बड़े दस्तावेज़ पढ़कर कम लागत में और अधिक तत्परता से जवाब दें।

## स्रोत और संदर्भ

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

अंतिम अपडेट: 2026-10-15