Forskare under ledning av Jiwon Song har presenterat en teknik som kallas Joint Subspace Sparse Attention (JSSA). Den väljer ut token på individnivå utan att först samla ihop dem, vilket håller trafiken från KV-cachen nere. På en NVIDIA B200-GPU nådde JSSA upp till 6.43× högre avkodningshastighet än full-KV attention för kontexter på 128 K token. Träffsäkerheten låg nära full-KV och modellernas inbyggda dense-sparse attention, även för modeller med upp till 700 B parametrar.
Varför det spelar roll
Snabbare avkodning av långa kontexter gör det möjligt för utvecklare att bygga billigare och mer responsiva AI-assistenter som kan läsa och svara på mycket stora dokument.
