AbridgeKV भाषा मॉडल के लंबे तर्क-क्रम तैयार करते समय इस्तेमाल होने वाले मेमोरी कैश को संकुचित करने का एक तरीका है। 16 अक्टूबर, 2026 को arXiv पर पोस्ट किए गए एक शोधपत्र में इसके लेखक बताते हैं कि मॉडल को पूरे किए गए टेक्स्ट ब्लॉकों का सार कुछ सीखे हुए pause tokens में समेटने और फिर उन ब्लॉकों की मूल कैश प्रविष्टियाँ हटाने के लिए प्रशिक्षित किया जाता है।
446 प्रतियोगिता समस्याओं पर लेखकों के मुताबिक, जनरेट किए गए कैश का एक-चौथाई हिस्सा रखने पर भी सटीकता और आउटपुट की लंबाई, पूरे कैश वाले समान रूप से प्रशिक्षित मॉडल जितनी रही। उन्होंने vLLM में हर सीक्वेंस के लिए 3.5 गुना छोटा कैश और पूरी तरह व्यस्त H100 पर समस्याएँ हल करने की 3.2 गुना तेज़ गति की भी जानकारी दी। दिए गए सार में स्कोर नहीं बताए गए हैं और न ही स्वतंत्र सत्यापन की पहचान की गई है।
यह क्यों मायने रखता है
लंबे तर्क वाले काम संभालने वाली टीमों के लिए, कैश में बताई गई कमी का मतलब हो सकता है कि मेमोरी में अधिक सीक्वेंस चलाए जा सकें। हालांकि, सार प्रतियोगिता की समस्याओं वाले परीक्षणों से आगे के प्रदर्शन की पुष्टि नहीं करता।
