Den 2026-10-20 släppte open source-projektet llama.cpp version b11756. Ändringen gör att servern kopierar fältet id_slot från Anthropic /v1/messages-förfrågningar till den interna OAI-liknande begärandekroppen. Det gör att en proxy kan hålla en session knuten till en viss KV-cacheplats, så att modellen inte behöver fylla på sin kontext varje gång. Ett nytt test bekräftar att förfrågningar med id_slot hanteras av rätt cacheplats.
Varför det spelar roll
Utvecklare som använder llama.cpp med Anthropic-kompatibla API:er kan hålla chattsessioner snabbare genom att slippa kostsamma omladdningar av cache.
