Jiwon Song liderliğindeki araştırmacılar, Joint Subspace Sparse Attention (JSSA) adlı bir teknik geliştirdi. Yöntem, tokenları önce bir araya getirmeden tek tek seçerek KV önbelleği trafiğini düşük tutuyor. JSSA, NVIDIA B200 GPU’da 128 K tokenlık bağlamlarda tam KV dikkat mekanizmasına kıyasla kod çözme hızını 6.43 kata kadar çıkardı. 700 B parametreye kadar olan modellerde bile doğruluk, tam KV dikkat mekanizmasına ve modelin yerleşik yoğun-seyrek dikkat mekanizmasına yakın kaldı.
Neden önemli
Uzun bağlamlarda daha hızlı kod çözme, geliştiricilerin çok büyük belgeleri okuyup yanıtlayabilen, daha ucuz ve daha hızlı tepki veren yapay zekâ asistanları geliştirmesini sağlar.
