# llama.cpp, Apple M3 Ultra용 추측 디코딩 가속 Metal 커널 추가

> 오픈소스 LLM 런타임이 Apple Silicon용 새 행렬 곱셈 커널을 도입해 일부 양자화 모델의 토큰 생성 시간을 줄인다.

Oossa · 2026-10-05 · https://oossa.com/ko/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

llama.cpp 프로젝트는 2026년 10월 5일 버전 b11404를 출시했다. 이번 버전에는 Apple GPU에서 여러 행(2~16개)을 한 번에 곱하는 Metal 커널이 추가됐다. 이 커널은 각 가중치를 한 번만 역양자화하고 SIMD 그룹 간에 작업을 나눠 처리하므로, M3 Ultra에서 추측 디코딩 속도가 기존 행렬-벡터 연산 방식보다 빨라진다. 새 커널은 Apple7 GPU 제품군을 지원하는 기기에서만, 행 수가 기준치에 도달했을 때(예: F32는 6개 행) 사용된다. 이번 변경에는 퓨전 로직 개선과 문제를 일으켰던 배치 복사 퓨전 제거도 포함됐다.

## 팩트

- 출시일: 2026년 10월 5일("Mon Oct 05 2026 08:06:22 GMT+0200").
- 새 Metal 커널은 2~16개 행을 처리하며 M3 Ultra에서 추측 디코딩 성능을 높인다.

## 왜 중요한가

llama.cpp를 사용하는 Apple Silicon 사용자는 추측 디코딩으로 텍스트를 생성할 때 지연 시간이 줄어들며, 특히 M3 Ultra 기기에서 효과를 볼 수 있다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

최종 업데이트: 2026-10-05