Il 20 ottobre 2026 il progetto open source llama.cpp ha rilasciato la versione b11756. La modifica fa sì che il server copi il campo id_slot dalle richieste Anthropic /v1/messages nel corpo interno compatibile con OAI. In questo modo un proxy può mantenere una sessione associata a uno specifico slot della cache KV, evitando che il modello debba ricaricare ogni volta il contesto. Un nuovo test conferma che le richieste con id_slot vengono gestite dallo slot corretto.
Perché conta
Gli sviluppatori che usano llama.cpp con API compatibili con Anthropic possono rendere più rapide le sessioni di chat evitando costosi ricaricamenti della cache.
