# llama.cpp, 소규모 배치용 OpenCL 커널 추가

> 오픈소스 Llama 추론 라이브러리에 저배치 실행을 위한 최적화 OpenCL GEMM 변형이 추가돼 Snapdragon GPU 지원이 확대됐다.

Oossa · 2026-10-20 · https://oossa.com/ko/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

ggml‑org/llama.cpp 프로젝트가 2026‑10‑21 업데이트(b11763)를 공개했다. 이번 업데이트에는 q4_k dp4a GEMM과 좁은 형태의 mul_mm_f16_f32 변형을 포함해, 소규모 배치의 행렬 곱셈 속도를 높이는 OpenCL 커널 몇 가지가 추가됐다. 또한 범위를 벗어난 메모리 읽기 버그를 수정하고 불필요한 CPU 대체 실행 가드를 제거했다. 이 라이브러리는 이미 macOS Apple Silicon, Windows CUDA, Linux Vulkan 등 여러 플랫폼에서 작동하며, 이제 Snapdragon CPU와 Adreno GPU, Hexagon NPU도 더 잘 지원한다.

## 팩트

- 소규모 배치용 OpenCL GEMM 변형 여러 가지를 추가했다(예: q4_k dp4a, mul_mm_f16_f32).
- 출시일: 2026‑10‑21.

## 왜 중요한가

개발자는 Snapdragon 칩이 탑재된 Android 기기에서 Llama 모델을 더 빠르게 실행할 수 있어, 기기 내 AI를 더 실용적으로 활용할 수 있다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

최종 업데이트: 2026-10-20