Oossa

llama.cpp b11345, Hexagon에 q2_k·q3_k 양자화 지원 추가

llama.cpp b11345에서 Hexagon의 q2_k 및 q3_k 양자화를 지원하며, 여러 플랫폼용 빌드도 내려받을 수 있습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 llama.cpp b11345를 출시하고 Hexagon에서 q2_k 및 q3_k 양자화 유형을 지원한다고 밝혔습니다. 양자화는 모델 데이터를 더 적은 비트로 저장하는 방식입니다. 다만 릴리스 노트에는 어떤 기기나 모델에서 이점을 얻을 수 있는지, 성능이 어떻게 달라지는지는 나와 있지 않습니다.

이번 릴리스에는 CPU 및 Vulkan 빌드를 포함해 macOS, iOS와 여러 Linux 구성용 다운로드도 제공됩니다.

왜 중요한가

지원되는 Hexagon 하드웨어에서 llama.cpp를 실행하는 사용자는 q2_k 또는 q3_k로 양자화된 모델을 사용할 수 있을지도 모릅니다. 다만 릴리스 노트에는 호환 기기나 성능 변화가 구체적으로 명시돼 있지 않습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.