Un equipo de investigadores dirigido por Shiyu Ji presentó RoLaQ, una técnica de calibración para cachés de claves y valores de 2 bits usadas en modelos de atención latente multi-cabeza. El método ajusta conjuntamente la rotación y el rango de cuantización, sin modificar los pesos del modelo. En pruebas con tres modelos y seis benchmarks, RoLaQ obtuvo la mayor precisión media entre los métodos de 2 bits. En DeepSeek‑V2‑Lite, una implementación en SGLang alcanzó 3.96 × la capacidad de caché de BF16 y 2.51 × la velocidad de decodificación con un contexto de 256K tokens.
Por qué importa
Los desarrolladores de modelos de lenguaje con contextos largos pueden procesar prompts más grandes y rápido sin hardware adicional.
