Des chercheurs dirigés par Shiyu Ji ont présenté RoLaQ, une technique de calibration des caches clé-valeur 2 bits utilisés dans les modèles à attention latente multi-têtes. La méthode ajuste conjointement la rotation et la plage de quantification, sans modifier les poids du modèle. Lors de tests portant sur trois modèles et six benchmarks, RoLaQ a obtenu la meilleure précision moyenne parmi les méthodes 2 bits. Sur DeepSeek‑V2‑Lite, une implémentation dans SGLang a atteint une capacité de cache 3.96 × supérieure à celle du cache BF16 et une vitesse de décodage 2.51 × plus élevée, avec un contexte de 256K tokens.
Pourquoi c'est important
Les développeurs de modèles de langage à long contexte peuvent traiter des prompts plus volumineux et plus rapidement, sans matériel supplémentaire.
