# llama.cpp, 소량 행렬 연산용 int8 CUDA 커널 추가

> 오픈소스 LLM 런타임이 Ampere급 NVIDIA GPU에서 새 int8 커널을 지원해 추측 디코딩 속도를 높입니다.

Oossa · 2026-11-13 · https://oossa.com/ko/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

ggml-org/llama.cpp 프로젝트가 소량 행렬 곱셈·양자화(MMQ) 연산을 위한 새 CUDA int8 MMA 커널을 추가한 버전 b12342를 출시했습니다. 이 커널은 Ampere 세대 이후 NVIDIA GPU에서 Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL, IQ4_XS 양자화 형식을 지원합니다. 추측 디코딩 검증 단계의 속도를 높이는 것이 이번 변경의 목표입니다. 이번 업데이트에는 테스트와 가드 관련 수정 사항도 포함됐습니다.

## 팩트

- 새 int8 MMA 커널은 Ampere급 NVIDIA GPU에서 8가지 양자화 형식을 지원합니다.
- 출시일: 2026-11-13

## 왜 중요한가

호환 GPU에서 LLM 추론 속도를 높여 대화형 AI 애플리케이션의 지연 시간을 줄일 수 있습니다.

## 출처 및 참고 자료

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

최종 업데이트: 2026-11-13