# RoLaQ migliora precisione e velocità delle cache KV a 2 bit

> Il nuovo metodo RoLaQ aumenta la precisione e la velocità di decodifica delle cache key-value a pochi bit nei modelli con attenzione latente multi-head.

Oossa · 2026-10-16 · https://oossa.com/it/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Un gruppo di ricercatori guidato da Shiyu Ji ha presentato RoLaQ, una tecnica di calibrazione per le cache key-value a 2 bit usate nell’attenzione latente multi-head. Il metodo ottimizza congiuntamente rotazione e intervallo di quantizzazione, mantenendo congelati i pesi del modello. Nei test su tre modelli e sei benchmark, RoLaQ ha ottenuto la precisione media più alta tra i metodi a 2 bit. Su DeepSeek‑V2‑Lite, un’implementazione SGLang ha raggiunto una capacità della cache pari a 3.96 × quella BF16 e una velocità di decodifica di 2.51 ×, con un contesto di 256K token.

## I fatti

- RoLaQ è stato inviato il 14 Oct 2026 (ID arXiv 2610.20686).
- Su DeepSeek‑V2‑Lite ha raggiunto una capacità KV di 3.96× e una velocità di decodifica di 2.51×.

## Perché conta

Chi sviluppa modelli linguistici con contesti lunghi può elaborare prompt più ampi e più velocemente, senza hardware aggiuntivo.

## Fonti e riferimenti

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Ultimo aggiornamento: 2026-10-16