llama.cpp, SYCL에서 IQ3 추론 속도 높이는 가중치 재정렬 추가

오픈소스 llama.cpp 라이브러리가 모델 로드 시 IQ3_S와 IQ3_XXS 가중치를 재정렬해 Intel Arc GPU의 토큰 처리량을 높인다.

짧은 소식작성: OossaOossa 게시일: 2026년 10월 15일 오전 5:08 UTC1 분 읽기

llama.cpp 프로젝트는 2026-10-15에 버전 b11636을 출시했다. 이번 버전은 SYCL 환경에서 IQ3_S와 IQ3_XXS 양자화 모델에 영구적인 가중치 레이아웃을 적용한다. 모델을 불러올 때 가중치를 한 번 재정렬해 GPU가 비트를 모으는 대신 밀집 블록을 처리하도록 하며, 그 결과 디코딩과 프리필 속도가 빨라진다. Intel Arc Pro B70 GPU에서 Qwen3.8‑27B 모델의 짧은 프롬프트 처리 속도는 초당 12.92토큰에서 23.54토큰으로 올라 82% 향상됐다.