# AbridgeKV तर्क मॉडल का कैश घटाकर एक-चौथाई करता है

> शोधकर्ताओं के मुताबिक, 446 समस्याओं के परीक्षण में AbridgeKV ने जनरेट किए गए टोकन का कैश 75% घटाते हुए सटीकता और आउटपुट की लंबाई बरकरार रखी।

Oossa · 2026-10-16 · https://oossa.com/hi/abridgekv-shrinks-reasoning-model-cache-to-one-quarter

AbridgeKV भाषा मॉडल के लंबे तर्क-क्रम तैयार करते समय इस्तेमाल होने वाले मेमोरी कैश को संकुचित करने का एक तरीका है। 16 अक्टूबर, 2026 को arXiv पर पोस्ट किए गए एक शोधपत्र में इसके लेखक बताते हैं कि मॉडल को पूरे किए गए टेक्स्ट ब्लॉकों का सार कुछ सीखे हुए pause tokens में समेटने और फिर उन ब्लॉकों की मूल कैश प्रविष्टियाँ हटाने के लिए प्रशिक्षित किया जाता है।

446 प्रतियोगिता समस्याओं पर लेखकों के मुताबिक, जनरेट किए गए कैश का एक-चौथाई हिस्सा रखने पर भी सटीकता और आउटपुट की लंबाई, पूरे कैश वाले समान रूप से प्रशिक्षित मॉडल जितनी रही। उन्होंने vLLM में हर सीक्वेंस के लिए 3.5 गुना छोटा कैश और पूरी तरह व्यस्त H100 पर समस्याएँ हल करने की 3.2 गुना तेज़ गति की भी जानकारी दी। दिए गए सार में स्कोर नहीं बताए गए हैं और न ही स्वतंत्र सत्यापन की पहचान की गई है।

## तथ्य

- परीक्षण सेट: AIME, HMMT, AMC, BRUMO, CMIMC और SMT की 446 समस्याएँ; जनरेशन 32K टोकन तक।
- लेखकों के मुताबिक, पूरे KV कैश की तुलना में हर सीक्वेंस के लिए 3.5× कम कैश और पूरी तरह व्यस्त H100 पर समस्या पूरी करने की 3.2× तेज़ गति।

## यह क्यों मायने रखता है

लंबे तर्क वाले काम संभालने वाली टीमों के लिए, कैश में बताई गई कमी का मतलब हो सकता है कि मेमोरी में अधिक सीक्वेंस चलाए जा सकें। हालांकि, सार प्रतियोगिता की समस्याओं वाले परीक्षणों से आगे के प्रदर्शन की पुष्टि नहीं करता।

## स्रोत और संदर्भ

1. [AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens](https://arxiv.org/abs/2610.20641) – arXiv, 2026-10-16

अंतिम अपडेट: 2026-10-16