پروژه متنباز llama.cpp در 2026‑10‑20 نسخه b11756 را منتشر کرد. این تغییر باعث میشود سرور فیلد id_slot را از درخواستهای Anthropic /v1/messages به بدنه داخلی با قالب OAI منتقل کند. به این ترتیب، پراکسی میتواند یک نشست را به اسلات مشخصی از حافظه نهان KV متصل نگه دارد و از پر کردن دوباره بافت مدل در هر بار درخواست جلوگیری کند. آزمون جدیدی هم تأیید میکند که درخواستهای دارای id_slot به اسلات درست هدایت میشوند.
چرا مهم است
توسعهدهندگانی که از llama.cpp با APIهای سازگار با Anthropic استفاده میکنند، میتوانند با جلوگیری از بارگذاری دوباره و پرهزینه حافظه نهان، نشستهای گفتوگو را سریعتر نگه دارند.