Investigadores describen una forma de acelerar la generación de texto con contexto largo en modelos de lenguaje grandes híbridos, sin volver a entrenarlos ni modificar sus pesos. El método hace que cada capa de atención completa se centre en los tokens recientes, un prefijo fijado y un conjunto limitado de tokens relevantes seleccionados del contexto más amplio.
En pruebas con seis modelos de entre 4.000 millones y 397.000 millones de parámetros, los investigadores reportan una precisión equivalente a la de referencia en 21 conjuntos de datos. En Qwen3.5-4B, la decodificación de 256.000 tokens fue hasta 2,22 veces más rápida; estos son los resultados que reporta el artículo, no una evaluación independiente.
Por qué importa
Para los equipos que ejecutan modelos híbridos con contexto largo, las mejoras de velocidad reportadas podrían reducir el tiempo de decodificación sin necesidad de volver a entrenarlos, aunque el artículo no demuestra cómo funciona el método en sus propios sistemas.
