# llama.cpp, Intel Arc GPU에서 양자화 모델 프리필 속도 개선

> b11979 릴리스는 SYCL 역양자화 방식을 변경했습니다. Intel Arc Pro B70 테스트에서 프리필 속도가 빨라졌지만 디코딩 속도는 그대로였습니다.

Oossa · 2026-10-29 · https://oossa.com/ko/llama-cpp-speeds-up-quantized-prefill-on-intel-arc-gpus

ggml-org/llama.cpp b11979 릴리스는 Intel GPU에서 여러 양자화 모델 형식을 변환하는 SYCL 커널의 작동 방식을 바꿨습니다. Arc Pro B70에서 텐서를 재배열된 레이아웃으로 저장했을 때 프롬프트 텍스트를 처리하는 프리필 속도가 향상됐으며, 개선 폭은 형식과 모델에 따라 달랐습니다.

해당 경로에서 가장 큰 개선 폭은 270억 매개변수 Q6_K 모델의 28.7%였습니다. MXFP4 전문가 혼합(MoE) 모델은 새 레이아웃을 적용한 경우를 포함해 테스트에서 프리필 속도가 57~61% 빨라졌고, 디코딩 속도는 변하지 않았습니다. 측정값은 프로젝트 측정 결과이며, 퍼플렉서티 결과는 동일하거나 실행 간 오차 범위 안에 있었습니다.

## 팩트

- llama.cpp b11979는 Arc Pro B70에서 Q6_K 27B 모델의 프리필 속도가 28.7% 향상됐다고 보고했습니다.
- MXFP4 MoE 모델은 pp2048에서 프리필 속도가 57%, pp512에서 61% 향상됐으며, 디코딩 속도는 그대로였습니다.

## 왜 중요한가

Intel Arc Pro B70에서 해당 모델 형식을 사용하는 경우 프롬프트 처리 시간이 줄어들 수 있습니다. 다만 개선 폭은 모델과 레이아웃에 따라 다르며 디코딩 속도는 빨라지지 않습니다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11979](https://github.com/ggml-org/llama.cpp/releases/tag/b11979) – llama.cpp, 2026-10-29

최종 업데이트: 2026-10-29