# RoLaQ से 2-बिट KV कैश की सटीकता और गति बढ़ी

> नई RoLaQ विधि multi-head latent attention मॉडल में कम-बिट key-value कैश की सटीकता और डिकोडिंग गति बढ़ाती है।

Oossa · 2026-10-16 · https://oossa.com/hi/rolaq-improves-2-bit-kv-cache-accuracy-and-speed

Shiyu Ji के नेतृत्व में शोधकर्ताओं ने multi-head latent attention में इस्तेमाल होने वाले 2-बिट key-value कैश के लिए RoLaQ नाम की कैलिब्रेशन तकनीक जारी की। मॉडल के वज़न में बदलाव किए बिना यह विधि रोटेशन और क्वांटाइज़ेशन रेंज को एक साथ समायोजित करती है। तीन मॉडल और छह बेंचमार्क पर हुए परीक्षणों में, 2-बिट विधियों में RoLaQ की औसत सटीकता सबसे अधिक रही। DeepSeek‑V2‑Lite पर SGLang के कार्यान्वयन ने 256K टोकन के कॉन्टेक्स्ट में BF16 कैश की क्षमता से 3.96 × और डिकोडिंग गति से 2.51 × प्रदर्शन हासिल किया।

## तथ्य

- RoLaQ को 14 Oct 2026 को जमा किया गया था (arXiv ID 2610.20686)।
- DeepSeek‑V2‑Lite पर इसने KV क्षमता 3.96× और डिकोडिंग थ्रूपुट 2.51× हासिल किया।

## यह क्यों मायने रखता है

लंबे कॉन्टेक्स्ट वाले भाषा मॉडल बनाने वाले डेवलपर बिना अतिरिक्त हार्डवेयर के बड़े प्रॉम्प्ट तेज़ी से चला सकते हैं।

## स्रोत और संदर्भ

1. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686) – arXiv cs.LG, 2026-10-16

अंतिम अपडेट: 2026-10-16