Am 2026‑10‑20 veröffentlichte das Open-Source-Projekt llama.cpp Version b11756. Die Änderung sorgt dafür, dass der Server das Feld id_slot aus Anthropic-/v1/messages-Anfragen in den internen OAI-ähnlichen Request-Body übernimmt. Dadurch kann ein Proxy eine Sitzung an einen bestimmten KV-Cache-Slot binden und verhindern, dass das Modell seinen Kontext jedes Mal neu laden muss. Ein neuer Test bestätigt, dass Anfragen mit id_slot vom richtigen Slot verarbeitet werden.
Warum es wichtig ist
Entwickler, die llama.cpp mit Anthropic-kompatiblen APIs nutzen, können Chatsitzungen beschleunigen, indem sie kostspielige Cache-Neuladungen vermeiden.
