Ein Forschungsteam unter Leitung von Shiyu Ji hat RoLaQ vorgestellt, ein Kalibrierungsverfahren für 2-Bit-Key-Value-Caches in Modellen mit Multi-Head Latent Attention. Das Verfahren passt Rotation und Quantisierungsbereich gemeinsam an, während die Modellgewichte unverändert bleiben. In Tests mit drei Modellen und sechs Benchmarks erzielte RoLaQ unter den 2-Bit-Verfahren die höchste durchschnittliche Genauigkeit. Bei DeepSeek‑V2‑Lite erreichte eine Implementierung in SGLang mit einem Kontext von 256K Tokens die 3,96-Fache Cache-Kapazität und die 2,51-Fache Dekodiergeschwindigkeit im Vergleich zu einem BF16-Cache.
Warum es wichtig ist
Entwickler von Sprachmodellen mit langen Kontexten können größere Prompts schneller verarbeiten, ohne zusätzliche Hardware zu benötigen.
