Un equipo de investigadores liderado por Jiwon Song presentó una técnica llamada Joint Subspace Sparse Attention (JSSA). El método selecciona tokens de forma individual, sin reunirlos primero, lo que mantiene bajo el tráfico de la caché KV. En una GPU NVIDIA B200, JSSA alcanzó una velocidad de generación hasta 6.43× superior a la de la atención con KV completa en contextos de 128 K tokens. La precisión se mantuvo cerca de la de la atención con KV completa y de la atención densa-dispersa propia del modelo, incluso en modelos de hasta 700 B de parámetros.
Por qué importa
Una generación más rápida con contextos largos permite a los desarrolladores crear asistentes de IA más económicos y ágiles, capaces de leer y responder sobre documentos muy extensos.
