# llama.cpp, 양자화 캐시용 SYCL 어텐션 가속 기능 추가

> b11980은 q4_0·q8_0 KV 캐시를 사용하는 소규모 배치 디코딩용 Intel GPU 커널을 추가했습니다. 프롬프트 처리에는 기존 커널을 계속 사용합니다.

Oossa · 2026-10-29 · https://oossa.com/ko/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

llama.cpp b11980 릴리스에는 q4_0 및 q8_0 양자화 키-값 캐시로 디코딩할 때 사용하는 SYCL 플래시 어텐션 커널이 추가됐습니다. 쿼리 토큰 1~31개로 구성된 배치를 처리하며, 호출할 때마다 스칼라 방식으로 역양자화하거나 전체 캐시를 f16으로 변환할 필요가 없습니다.

릴리스 노트에 따르면 Intel Arc B580에서 q4_0 캐시를 사용한 Llama 3.1 8B Q4_K_M의 속도는 16K 컨텍스트 기준 초당 31.3토큰에서 54.2토큰으로 향상됐습니다. 이는 명시된 한 가지 설정에서 나온 결과입니다. 프롬프트 처리는 기존 커널을 계속 사용하며, GGML_SYCL_FA_DPAS=0으로 새 커널을 비활성화할 수 있습니다.

## 팩트

- 릴리스: llama.cpp b11980.
- 보고된 B580 결과: Llama 3.1 8B Q4_K_M과 q4_0 KV 캐시를 사용했을 때 16K 컨텍스트 기준 초당 31.3토큰에서 54.2토큰으로 향상.

## 왜 중요한가

양자화 캐시를 사용해 Intel Arc B580에서 디코딩하는 경우, 테스트된 설정에서 토큰 생성 속도가 빨라질 수 있습니다. 다만 릴리스에는 프롬프트 처리나 다른 하드웨어에서도 비슷한 성능 향상이 나타난다는 근거가 없습니다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

최종 업데이트: 2026-10-29