Oossa

llama.cpp 업데이트, Anthropic API에 id_slot 처리 추가

Oct 20 2026 릴리스부터 서버가 세션을 특정 KV 캐시 슬롯에 고정할 수 있어, Anthropic /v1/messages 호출 때 프롬프트를 처음부터 다시 처리하지 않아도 됩니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

오픈소스 프로젝트 llama.cpp가 2026‑10‑20 버전 b11756을 출시했습니다. 이번 변경으로 서버는 Anthropic /v1/messages 요청에 포함된 id_slot 필드를 내부 OAI 형식의 본문에 전달합니다. 이에 따라 프록시가 세션을 특정 KV 캐시 슬롯에 계속 연결해 둘 수 있어, 모델이 매번 컨텍스트를 다시 채울 필요가 없습니다. id_slot이 포함된 요청이 올바른 슬롯에서 처리되는지 확인하는 새 테스트도 추가됐습니다.

왜 중요한가

llama.cpp를 Anthropic 호환 API와 함께 사용하는 개발자는 비용이 큰 캐시 재로딩을 피하고 채팅 세션의 응답 속도를 높일 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.