llama.cpp b11980 릴리스에는 q4_0 및 q8_0 양자화 키-값 캐시로 디코딩할 때 사용하는 SYCL 플래시 어텐션 커널이 추가됐습니다. 쿼리 토큰 1~31개로 구성된 배치를 처리하며, 호출할 때마다 스칼라 방식으로 역양자화하거나 전체 캐시를 f16으로 변환할 필요가 없습니다.
릴리스 노트에 따르면 Intel Arc B580에서 q4_0 캐시를 사용한 Llama 3.1 8B Q4_K_M의 속도는 16K 컨텍스트 기준 초당 31.3토큰에서 54.2토큰으로 향상됐습니다. 이는 명시된 한 가지 설정에서 나온 결과입니다. 프롬프트 처리는 기존 커널을 계속 사용하며, GGML_SYCL_FA_DPAS=0으로 새 커널을 비활성화할 수 있습니다.
왜 중요한가
양자화 캐시를 사용해 Intel Arc B580에서 디코딩하는 경우, 테스트된 설정에서 토큰 생성 속도가 빨라질 수 있습니다. 다만 릴리스에는 프롬프트 처리나 다른 하드웨어에서도 비슷한 성능 향상이 나타난다는 근거가 없습니다.
