오픈소스 프로젝트 llama.cpp가 2026‑10‑20 버전 b11756을 출시했습니다. 이번 변경으로 서버는 Anthropic /v1/messages 요청에 포함된 id_slot 필드를 내부 OAI 형식의 본문에 전달합니다. 이에 따라 프록시가 세션을 특정 KV 캐시 슬롯에 계속 연결해 둘 수 있어, 모델이 매번 컨텍스트를 다시 채울 필요가 없습니다. id_slot이 포함된 요청이 올바른 슬롯에서 처리되는지 확인하는 새 테스트도 추가됐습니다.
왜 중요한가
llama.cpp를 Anthropic 호환 API와 함께 사용하는 개발자는 비용이 큰 캐시 재로딩을 피하고 채팅 세션의 응답 속도를 높일 수 있습니다.