llama.cpp, Vulkan GPU용 KV 캐시 역양자화 최적화 추가

오픈소스 llama.cpp 라이브러리가 Vulkan GPU에서 역양자화된 키·값 캐시를 지원해 특정 모델 헤드의 속도를 높입니다.

짧은 소식작성: OossaOossa 게시일: 2026년 11월 11일 오후 8:09 UTC1 분 읽기

ggml-org 팀이 llama.cpp 버전 b12291을 공개했습니다. 이번 버전에는 coopmat2 명령어를 사용해 키·값 캐시를 역양자화하는 Vulkan 기반 최적화가 추가됐습니다. 쿼리 토큰과 GQA 비율을 바탕으로 한 휴리스틱이 안전하다고 판단한 경우에만 이 변경 사항이 적용됩니다. 또 일부 헤드 크기에서 정렬 처리를 수정해 최적화를 사용할 수 없는 경우에도 성능을 개선했습니다.