Un gruppo di ricercatori guidato da Shiyu Ji ha presentato RoLaQ, una tecnica di calibrazione per le cache key-value a 2 bit usate nell’attenzione latente multi-head. Il metodo ottimizza congiuntamente rotazione e intervallo di quantizzazione, mantenendo congelati i pesi del modello. Nei test su tre modelli e sei benchmark, RoLaQ ha ottenuto la precisione media più alta tra i metodi a 2 bit. Su DeepSeek‑V2‑Lite, un’implementazione SGLang ha raggiunto una capacità della cache pari a 3.96 × quella BF16 e una velocità di decodifica di 2.51 ×, con un contesto di 256K token.
Perché conta
Chi sviluppa modelli linguistici con contesti lunghi può elaborare prompt più ampi e più velocemente, senza hardware aggiuntivo.
