# Joint Subspace Sparse Attention, 긴 문맥 LLM 디코딩 최대 6.4배 가속

> 새로운 JSSA 기법은 128K 토큰 문맥에서 정확도를 전체 어텐션에 가깝게 유지하면서 디코딩 속도를 최대 6.4배 높입니다.

Oossa · 2026-10-15 · https://oossa.com/ko/joint-subspace-sparse-attention-speeds-up-long-context-llm-decoding

Jiwon Song이 이끄는 연구진이 Joint Subspace Sparse Attention(JSSA)이라는 기법을 공개했습니다. 이 기법은 토큰을 먼저 모으지 않고 개별적으로 선택해 KV 캐시 트래픽을 낮춥니다. NVIDIA B200 GPU에서 JSSA는 128K 토큰 문맥을 처리할 때 전체 KV 어텐션보다 디코딩 속도가 최대 6.43배 빨랐습니다. 정확도는 전체 KV 어텐션 및 모델 고유의 dense-sparse 어텐션과 비슷한 수준을 유지했으며, 최대 700B 파라미터 모델에서도 마찬가지였습니다.

## 팩트

- 게시일: Thu Oct 15 2026
- 속도 향상: NVIDIA B200 GPU에서 128K 토큰 문맥 기준 최대 6.43배

## 왜 중요한가

긴 문맥을 더 빠르게 디코딩하면 개발자는 훨씬 큰 문서를 읽고 답할 수 있는 AI 비서를 더 저렴하고 민첩하게 만들 수 있습니다.

## 출처 및 참고 자료

1. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026) – arXiv, 2026-10-15

최종 업데이트: 2026-10-15