# RoLaQ, 2 bitlik KV önbelleğinin doğruluğunu ve hızını artırıyor

> Yeni RoLaQ yöntemi, çok başlıklı gizil dikkat modellerinde düşük bitli anahtar-değer önbelleklerinin doğruluğunu ve çözümleme hızını artırıyor.

Oossa · 2026-10-16 · https://oossa.com/tr/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Shiyu Ji liderliğindeki araştırmacılar, çok başlıklı gizil dikkatte kullanılan 2 bitlik anahtar-değer önbellekleri için bir kalibrasyon tekniği olan RoLaQ’ı yayımladı. Yöntem, model ağırlıklarını sabit tutarken döndürme işlemini ve niceleme aralığını birlikte ayarlıyor. Üç model ve altı kıyaslama testinde RoLaQ, 2 bitlik yöntemler arasında en yüksek ortalama doğruluğa ulaştı. DeepSeek‑V2‑Lite üzerinde SGLang ile yapılan uygulama, 256K tokenlık bağlamda BF16 önbellek kapasitesinin 3.96 katına ve 2.51 kat çözümleme hızına ulaştı.

## Gerçekler

- RoLaQ, 14 Oct 2026 tarihinde sunuldu (arXiv kimliği 2610.20686).
- DeepSeek‑V2‑Lite üzerinde KV kapasitesini 3.96 katına, çözümleme hızını 2.51 katına çıkardı.

## Neden önemli

Uzun bağlamlı dil modelleri geliştirenler, ek donanıma ihtiyaç duymadan daha büyük istemleri daha hızlı çalıştırabilir.

## Kaynaklar ve referanslar

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

Son güncelleme: 2026-10-16