# RoLaQ verhoogt nauwkeurigheid en snelheid van 2-bit KV-cache

> De nieuwe RoLaQ-methode verbetert de nauwkeurigheid en decodeersnelheid van low-bit key-value-caches in modellen met multi-head latent attention.

Oossa · 2026-10-16 · https://oossa.com/nl/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Onderzoekers onder leiding van Shiyu Ji hebben RoLaQ uitgebracht, een kalibratietechniek voor 2-bit key-value-caches in modellen met multi-head latent attention. De methode past de rotatie en het kwantiseringsbereik gezamenlijk aan, terwijl de modelgewichten ongewijzigd blijven. In tests met drie modellen en zes benchmarks behaalde RoLaQ de hoogste gemiddelde nauwkeurigheid van alle 2-bit-methoden. Op DeepSeek‑V2‑Lite leverde een SGLang-implementatie 3.96 × de cachecapaciteit van BF16 op en was de decodeersnelheid 2.51 × zo hoog, bij een context van 256K tokens.

## De feiten

- RoLaQ is op 14 Oct 2026 ingediend (arXiv-ID 2610.20686).
- Op DeepSeek‑V2‑Lite behaalde het 3.96× zoveel KV-cachecapaciteit en 2.51× zoveel decodeerdoorvoer.

## Waarom het ertoe doet

Ontwikkelaars van taalmodellen met een lange context kunnen grotere prompts sneller verwerken, zonder extra hardware.

## Bronnen en referenties

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Laatst bijgewerkt: 2026-10-16