llama.cpp, 소량 행렬 연산용 int8 CUDA 커널 추가

오픈소스 LLM 런타임이 Ampere급 NVIDIA GPU에서 새 int8 커널을 지원해 추측 디코딩 속도를 높입니다.

짧은 소식작성: OossaOossa 게시일: 2026년 11월 13일 오전 4:38 UTC1 분 읽기

ggml-org/llama.cpp 프로젝트가 소량 행렬 곱셈·양자화(MMQ) 연산을 위한 새 CUDA int8 MMA 커널을 추가한 버전 b12342를 출시했습니다. 이 커널은 Ampere 세대 이후 NVIDIA GPU에서 Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL, IQ4_XS 양자화 형식을 지원합니다. 추측 디코딩 검증 단계의 속도를 높이는 것이 이번 변경의 목표입니다. 이번 업데이트에는 테스트와 가드 관련 수정 사항도 포함됐습니다.