ggml-org 팀이 llama.cpp b11345를 출시하고 Hexagon에서 q2_k 및 q3_k 양자화 유형을 지원한다고 밝혔습니다. 양자화는 모델 데이터를 더 적은 비트로 저장하는 방식입니다. 다만 릴리스 노트에는 어떤 기기나 모델에서 이점을 얻을 수 있는지, 성능이 어떻게 달라지는지는 나와 있지 않습니다.
이번 릴리스에는 CPU 및 Vulkan 빌드를 포함해 macOS, iOS와 여러 Linux 구성용 다운로드도 제공됩니다.
왜 중요한가
지원되는 Hexagon 하드웨어에서 llama.cpp를 실행하는 사용자는 q2_k 또는 q3_k로 양자화된 모델을 사용할 수 있을지도 모릅니다. 다만 릴리스 노트에는 호환 기기나 성능 변화가 구체적으로 명시돼 있지 않습니다.