Shiyu Ji के नेतृत्व में शोधकर्ताओं ने multi-head latent attention में इस्तेमाल होने वाले 2-बिट key-value कैश के लिए RoLaQ नाम की कैलिब्रेशन तकनीक जारी की। मॉडल के वज़न में बदलाव किए बिना यह विधि रोटेशन और क्वांटाइज़ेशन रेंज को एक साथ समायोजित करती है। तीन मॉडल और छह बेंचमार्क पर हुए परीक्षणों में, 2-बिट विधियों में RoLaQ की औसत सटीकता सबसे अधिक रही। DeepSeek‑V2‑Lite पर SGLang के कार्यान्वयन ने 256K टोकन के कॉन्टेक्स्ट में BF16 कैश की क्षमता से 3.96 × और डिकोडिंग गति से 2.51 × प्रदर्शन हासिल किया।
यह क्यों मायने रखता है
लंबे कॉन्टेक्स्ट वाले भाषा मॉडल बनाने वाले डेवलपर बिना अतिरिक्त हार्डवेयर के बड़े प्रॉम्प्ट तेज़ी से चला सकते हैं।
