Op 2026‑10‑20 bracht het open-sourceproject llama.cpp versie b11756 uit. De wijziging zorgt ervoor dat de server het veld id_slot uit Anthropic-verzoeken naar /v1/messages overneemt in de interne body in OAI-stijl. Daardoor kan een proxy een sessie aan een specifiek KV-cache-slot koppelen, zodat het model de context niet telkens opnieuw hoeft te laden. Een nieuwe test bevestigt dat verzoeken met id_slot door het juiste slot worden afgehandeld.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp gebruiken met Anthropic-compatibele API's kunnen chatsessies sneller houden doordat de cache niet telkens opnieuw hoeft te worden geladen.
