# RoLaQ mejora la precisión y velocidad de la caché KV de 2 bits

> El nuevo método RoLaQ mejora la precisión y el rendimiento de decodificación de las cachés de claves y valores de pocos bits en modelos de atención latente multi-cabeza.

Oossa · 2026-10-16 · https://oossa.com/es/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Un equipo de investigadores dirigido por Shiyu Ji presentó RoLaQ, una técnica de calibración para cachés de claves y valores de 2 bits usadas en modelos de atención latente multi-cabeza. El método ajusta conjuntamente la rotación y el rango de cuantización, sin modificar los pesos del modelo. En pruebas con tres modelos y seis benchmarks, RoLaQ obtuvo la mayor precisión media entre los métodos de 2 bits. En DeepSeek‑V2‑Lite, una implementación en SGLang alcanzó 3.96 × la capacidad de caché de BF16 y 2.51 × la velocidad de decodificación con un contexto de 256K tokens.

## Los hechos

- RoLaQ se presentó el 14 Oct 2026 (ID de arXiv 2610.20686).
- Alcanzó 3.96× de capacidad KV y 2.51× de rendimiento de decodificación en DeepSeek‑V2‑Lite.

## Por qué importa

Los desarrolladores de modelos de lenguaje con contextos largos pueden procesar prompts más grandes y rápido sin hardware adicional.

## Fuentes y referencias

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Última actualización: 2026-10-16