# RoLaQ améliore la précision et la vitesse des caches KV 2 bits

> La nouvelle méthode RoLaQ améliore la précision et le débit de décodage des caches clé-valeur à faible nombre de bits dans les modèles à attention latente multi-têtes.

Oossa · 2026-10-16 · https://oossa.com/fr/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Des chercheurs dirigés par Shiyu Ji ont présenté RoLaQ, une technique de calibration des caches clé-valeur 2 bits utilisés dans les modèles à attention latente multi-têtes. La méthode ajuste conjointement la rotation et la plage de quantification, sans modifier les poids du modèle. Lors de tests portant sur trois modèles et six benchmarks, RoLaQ a obtenu la meilleure précision moyenne parmi les méthodes 2 bits. Sur DeepSeek‑V2‑Lite, une implémentation dans SGLang a atteint une capacité de cache 3.96 × supérieure à celle du cache BF16 et une vitesse de décodage 2.51 × plus élevée, avec un contexte de 256K tokens.

## Les faits

- RoLaQ a été soumis le 14 Oct 2026 (identifiant arXiv 2610.20686).
- Il a atteint une capacité KV 3.96× supérieure et un débit de décodage 2.51× plus élevé sur DeepSeek‑V2‑Lite.

## Pourquoi c'est important

Les développeurs de modèles de langage à long contexte peuvent traiter des prompts plus volumineux et plus rapidement, sans matériel supplémentaire.

## Sources et références

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Dernière mise à jour: 2026-10-16