Onderzoekers onder leiding van Shiyu Ji hebben RoLaQ uitgebracht, een kalibratietechniek voor 2-bit key-value-caches in modellen met multi-head latent attention. De methode past de rotatie en het kwantiseringsbereik gezamenlijk aan, terwijl de modelgewichten ongewijzigd blijven. In tests met drie modellen en zes benchmarks behaalde RoLaQ de hoogste gemiddelde nauwkeurigheid van alle 2-bit-methoden. Op DeepSeek‑V2‑Lite leverde een SGLang-implementatie 3.96 × de cachecapaciteit van BF16 op en was de decodeersnelheid 2.51 × zo hoog, bij een context van 256K tokens.
Waarom het ertoe doet
Ontwikkelaars van taalmodellen met een lange context kunnen grotere prompts sneller verwerken, zonder extra hardware.
