20 अक्टूबर 2026 को ओपन-सोर्स प्रोजेक्ट llama.cpp ने b11756 संस्करण जारी किया। इस बदलाव से सर्वर Anthropic /v1/messages अनुरोधों में मौजूद id_slot फ़ील्ड को अपने आंतरिक OAI-शैली के बॉडी में कॉपी करता है। इससे प्रॉक्सी किसी सेशन को एक खास KV कैश स्लॉट से जोड़े रख सकता है और मॉडल को हर बार अपना कॉन्टेक्स्ट दोबारा भरने की ज़रूरत नहीं पड़ती। एक नया टेस्ट पुष्टि करता है कि id_slot वाले अनुरोध सही स्लॉट से पूरे होते हैं।
यह क्यों मायने रखता है
Anthropic-संगत API के साथ llama.cpp इस्तेमाल करने वाले डेवलपर महंगे कैश रीलोड से बचकर चैट सेशन को तेज़ रख सकते हैं।
