ggml-org/llama.cpp b11979 릴리스는 Intel GPU에서 여러 양자화 모델 형식을 변환하는 SYCL 커널의 작동 방식을 바꿨습니다. Arc Pro B70에서 텐서를 재배열된 레이아웃으로 저장했을 때 프롬프트 텍스트를 처리하는 프리필 속도가 향상됐으며, 개선 폭은 형식과 모델에 따라 달랐습니다.
해당 경로에서 가장 큰 개선 폭은 270억 매개변수 Q6_K 모델의 28.7%였습니다. MXFP4 전문가 혼합(MoE) 모델은 새 레이아웃을 적용한 경우를 포함해 테스트에서 프리필 속도가 57~61% 빨라졌고, 디코딩 속도는 변하지 않았습니다. 측정값은 프로젝트 측정 결과이며, 퍼플렉서티 결과는 동일하거나 실행 간 오차 범위 안에 있었습니다.
왜 중요한가
Intel Arc Pro B70에서 해당 모델 형식을 사용하는 경우 프롬프트 처리 시간이 줄어들 수 있습니다. 다만 개선 폭은 모델과 레이아웃에 따라 다르며 디코딩 속도는 빨라지지 않습니다.
