20 октября 2026 года проект с открытым исходным кодом llama.cpp выпустил версию b11756. Теперь сервер переносит поле id_slot из запросов Anthropic /v1/messages во внутреннее тело запроса в формате OAI. Благодаря этому прокси может закрепить сессию за определённым слотом KV-кэша — модели не придётся каждый раз заново заполнять контекст. Новый тест подтверждает, что запросы с id_slot обрабатываются нужным слотом.
Почему это важно
Разработчики, использующие llama.cpp с API, совместимыми с Anthropic, смогут ускорить работу чатов, не тратя время на дорогостоящую повторную загрузку кэша.
