# llama.cpp, SYCL에서 IQ3 추론 속도 높이는 가중치 재정렬 추가

> 오픈소스 llama.cpp 라이브러리가 모델 로드 시 IQ3_S와 IQ3_XXS 가중치를 재정렬해 Intel Arc GPU의 토큰 처리량을 높인다.

Oossa · 2026-10-15 · https://oossa.com/ko/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

llama.cpp 프로젝트는 2026-10-15에 버전 b11636을 출시했다. 이번 버전은 SYCL 환경에서 IQ3_S와 IQ3_XXS 양자화 모델에 영구적인 가중치 레이아웃을 적용한다. 모델을 불러올 때 가중치를 한 번 재정렬해 GPU가 비트를 모으는 대신 밀집 블록을 처리하도록 하며, 그 결과 디코딩과 프리필 속도가 빨라진다. Intel Arc Pro B70 GPU에서 Qwen3.8‑27B 모델의 짧은 프롬프트 처리 속도는 초당 12.92토큰에서 23.54토큰으로 올라 82% 향상됐다.

## 팩트

- 출시일: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- Intel Arc Pro B70에서 IQ3_S 토큰 처리 속도가 초당 12.92토큰에서 23.54토큰으로 향상(+82%)

## 왜 중요한가

SYCL 호환 GPU에서 llama.cpp를 실행하는 개발자는 모델 코드를 바꾸지 않고도 응답 속도를 눈에 띄게 높일 수 있다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

최종 업데이트: 2026-10-15