Le 20 octobre 2026, le projet open source llama.cpp a publié la version b11756. Cette modification permet au serveur de transmettre le champ id_slot des requêtes Anthropic /v1/messages dans son corps interne au format OAI. Un proxy peut ainsi associer une session à un emplacement précis du cache KV, évitant au modèle de devoir recharger son contexte à chaque requête. Un nouveau test confirme que les requêtes contenant id_slot sont traitées par le bon emplacement.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp avec des API compatibles avec Anthropic peuvent accélérer les sessions de chat en évitant les coûteux rechargements du cache.
