Pesquisadores liderados por Shiyu Ji lançaram o RoLaQ, uma técnica de calibração para caches de chave e valor de 2 bits usados em atenção latente multi-head. O método ajusta conjuntamente a rotação e o intervalo de quantização, mantendo os pesos do modelo congelados. Em testes com três modelos e seis benchmarks, o RoLaQ obteve a maior precisão média entre os métodos de 2 bits. No DeepSeek‑V2‑Lite, uma implementação no SGLang alcançou 3.96 × a capacidade de cache BF16 e 2.51 × a velocidade de decodificação, com um contexto de 256K tokens.
Por que importa
Desenvolvedores de modelos de linguagem com contexto longo podem processar prompts maiores mais rapidamente, sem hardware adicional.
