Un gruppo di ricercatori guidato da Jiwon Song ha presentato una tecnica chiamata Joint Subspace Sparse Attention (JSSA). Il metodo seleziona i token uno per uno, senza raggrupparli prima, riducendo il traffico della cache KV. Su una GPU NVIDIA B200, JSSA ha raggiunto una velocità di generazione fino a 6.43× superiore a quella dell’attenzione full-KV con contesti da 128 K token. L’accuratezza è rimasta vicina a quella dell’attenzione full-KV e dell’attenzione densa-sparsa nativa del modello, anche con modelli fino a 700 B parametri.
Perché conta
Una generazione più rapida con contesti lunghi permette agli sviluppatori di creare assistenti IA più economici e reattivi, capaci di leggere e rispondere a documenti molto voluminosi.
