llama.cpp प्रोजेक्ट ने 2026-10-15 को संस्करण b11642 जारी किया। इसमें सर्वर के प्रॉम्प्ट-कैश स्लॉट रखने का तरीका बदला गया है। अब सिर्फ़ वे स्लॉट सहेजे जाते हैं जिन्हें बाद में फिर से बहाल किया जा सकता है। इसलिए rerank, embedding, decision और infill कामों के खाली स्लॉट अब कैश नहीं भरेंगे। --cache-ram फ़्लैग इस्तेमाल न किए जाने पर decision काम अब कैश का इस्तेमाल ही नहीं करेंगे। इससे RAM की खपत घटती है और कैश में गैरज़रूरी बदलावों से बचा जा सकता है।
यह क्यों मायने रखता है
सीमित हार्डवेयर पर llama.cpp चलाने वाले डेवलपर कम मेमोरी खपत और कैश से जुड़ी धीमी गति की कम समस्याएं देखेंगे।
