llama.cpp 프로젝트가 2026-10-15에 버전 b11642를 출시했다. 이번 버전에서는 서버의 프롬프트 캐시 슬롯 저장 방식이 바뀌었다. 나중에 복원할 수 있는 슬롯만 저장하므로, rerank·embedding·decision·infill 작업에서 유휴 슬롯이 더는 캐시를 채우지 않는다. decision 작업은 --cache-ram 플래그를 사용하지 않는 한 캐시를 아예 건너뛴다. 이에 따라 RAM 사용량이 줄고 불필요한 캐시 교체도 방지된다.
왜 중요한가
제한된 하드웨어에서 llama.cpp를 실행하는 개발자는 메모리 사용량을 줄이고 캐시로 인한 속도 저하를 완화할 수 있다.