# RoLaQ steigert Genauigkeit und Tempo bei 2-Bit-KV-Caches

> Das neue Verfahren verbessert die Genauigkeit und Dekodierleistung von Key-Value-Caches mit geringer Bitbreite in Modellen mit Multi-Head Latent Attention.

Oossa · 2026-10-16 · https://oossa.com/de/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Ein Forschungsteam unter Leitung von Shiyu Ji hat RoLaQ vorgestellt, ein Kalibrierungsverfahren für 2-Bit-Key-Value-Caches in Modellen mit Multi-Head Latent Attention. Das Verfahren passt Rotation und Quantisierungsbereich gemeinsam an, während die Modellgewichte unverändert bleiben. In Tests mit drei Modellen und sechs Benchmarks erzielte RoLaQ unter den 2-Bit-Verfahren die höchste durchschnittliche Genauigkeit. Bei DeepSeek‑V2‑Lite erreichte eine Implementierung in SGLang mit einem Kontext von 256K Tokens die 3,96-Fache Cache-Kapazität und die 2,51-Fache Dekodiergeschwindigkeit im Vergleich zu einem BF16-Cache.

## Die Fakten

- RoLaQ wurde am 14. Okt. 2026 eingereicht (arXiv-ID 2610.20686).
- Bei DeepSeek‑V2‑Lite erzielte das Verfahren die 3,96-fache KV-Kapazität und den 2,51-fachen Dekodierdurchsatz.

## Warum es wichtig ist

Entwickler von Sprachmodellen mit langen Kontexten können größere Prompts schneller verarbeiten, ohne zusätzliche Hardware zu benötigen.

## Quellen und Referenzen

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Zuletzt aktualisiert: 2026-10-16