# RoLaQ melhora a precisão e a velocidade do cache KV de 2 bits

> O novo método RoLaQ aumenta a precisão e a taxa de decodificação de caches de chave e valor com poucos bits em modelos de atenção latente multi-head.

Oossa · 2026-10-16 · https://oossa.com/pt/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Pesquisadores liderados por Shiyu Ji lançaram o RoLaQ, uma técnica de calibração para caches de chave e valor de 2 bits usados em atenção latente multi-head. O método ajusta conjuntamente a rotação e o intervalo de quantização, mantendo os pesos do modelo congelados. Em testes com três modelos e seis benchmarks, o RoLaQ obteve a maior precisão média entre os métodos de 2 bits. No DeepSeek‑V2‑Lite, uma implementação no SGLang alcançou 3.96 × a capacidade de cache BF16 e 2.51 × a velocidade de decodificação, com um contexto de 256K tokens.

## Os fatos

- O RoLaQ foi enviado em 14 Oct 2026 (ID arXiv 2610.20686).
- Alcançou 3.96× a capacidade KV e 2.51× a taxa de decodificação no DeepSeek‑V2‑Lite.

## Por que importa

Desenvolvedores de modelos de linguagem com contexto longo podem processar prompts maiores mais rapidamente, sem hardware adicional.

## Fontes e referências

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Última atualização: 2026-10-16