Oossa

llama.cpp, 재사용 가능한 프롬프트 캐시만 저장

새 버전은 서버가 재사용 가능한 슬롯만 RAM에 보관하도록 해 특정 작업에서 메모리 낭비를 줄인다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 2026-10-15에 버전 b11642를 출시했다. 이번 버전에서는 서버의 프롬프트 캐시 슬롯 저장 방식이 바뀌었다. 나중에 복원할 수 있는 슬롯만 저장하므로, rerank·embedding·decision·infill 작업에서 유휴 슬롯이 더는 캐시를 채우지 않는다. decision 작업은 --cache-ram 플래그를 사용하지 않는 한 캐시를 아예 건너뛴다. 이에 따라 RAM 사용량이 줄고 불필요한 캐시 교체도 방지된다.

왜 중요한가

제한된 하드웨어에서 llama.cpp를 실행하는 개발자는 메모리 사용량을 줄이고 캐시로 인한 속도 저하를 완화할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.