Açık kaynaklı llama.cpp projesi, 2026‑10‑20 tarihinde b11756 sürümünü yayımladı. Güncellemeyle sunucu, Anthropic /v1/messages isteklerindeki id_slot alanını kendi OAI tarzı gövdesine kopyalıyor. Böylece bir proxy oturumu belirli bir KV önbellek yuvasına bağlayabiliyor ve modelin her istekte bağlamı yeniden yüklemesi önleniyor. Yeni bir test, id_slot içeren isteklerin doğru yuvada işlendiğini doğruluyor.
Neden önemli
llama.cpp’yi Anthropic uyumlu API’lerle kullanan geliştiriciler, maliyetli önbellek yüklemelerini önleyerek sohbet oturumlarını hızlandırabilir.
