# RoLaQ förbättrar precision och hastighet för 2-bitars KV-cache

> Den nya RoLaQ-metoden ökar precisionen och avkodningskapaciteten för nyckel-värdecacher med låg bitbredd i modeller med multi-head latent attention.

Oossa · 2026-10-16 · https://oossa.com/sv/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Forskare under ledning av Shiyu Ji har presenterat RoLaQ, en kalibreringsteknik för 2-bitars nyckel-värdecacher i modeller med multi-head latent attention. Metoden justerar rotation och kvantiseringsintervall gemensamt, medan modellvikterna hålls oförändrade. I tester med tre modeller och sex benchmarktester gav RoLaQ högst genomsnittlig precision av alla 2-bitarsmetoder. På DeepSeek‑V2‑Lite uppnådde en SGLang-implementation 3.96 × BF16-cachekapaciteten och 2.51 × avkodningshastigheten med ett kontextfönster på 256K token.

## Fakta

- RoLaQ skickades in den 14 Oct 2026 (arXiv-ID 2610.20686).
- Metoden uppnådde 3.96× KV-kapacitet och 2.51× avkodningskapacitet på DeepSeek‑V2‑Lite.

## Varför det spelar roll

Utvecklare av språkmodeller med långa kontextfönster kan köra större promptar snabbare utan extra hårdvara.

## Källor och referenser

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Senast uppdaterad: 2026-10-16