Oossa

llama.cpp, 양자화 모델용 OpenCL DP4A 커널 추가

오픈소스 LLaMA 추론 라이브러리에 q4_0, q4_k, q6_k 형식을 위한 cooperative-k DP4A GEMM 지원이 추가됐다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org/llama.cpp 프로젝트가 2026-10-19에 버전 b11741을 공개했다. 이번 버전에는 DP4A 명령어를 사용해 세 가지 양자화 형식(q4_0, q4_k, q6_k)의 행렬 곱셈을 가속하는 새로운 OpenCL 커널이 추가됐다. 정렬 문제도 수정했으며, macOS(Apple Silicon 및 Intel)와 Vulkan 빌드를 포함한 여러 Ubuntu 대상의 사전 빌드 바이너리도 함께 제공한다.

왜 중요한가

개발자는 OpenCL 호환 GPU에서 LLaMA 모델을 더 빠르게 실행할 수 있어 로컬 추론을 더 실용적으로 활용할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.