ggml-org 팀이 llama.cpp b11849를 출시하며 Qualcomm의 프로세서 아키텍처인 Hexagon에서 SGN 연산을 지원하도록 했습니다. 릴리스 노트에 따르면 이번 변경에는 반정밀도 지원과 부호 비트를 사용하는 최적화가 포함됩니다.
이번 릴리스는 macOS, iOS, Ubuntu용 빌드도 제공하며, x64, arm64, s390x용 CPU 빌드도 포함합니다. 릴리스 노트에는 어떤 기기나 작업에서 실제 속도 또는 성능이 개선되는지는 명시돼 있지 않습니다.
왜 중요한가
Hexagon 하드웨어에서 llama.cpp를 사용하는 개발자는 새 SGN 연산을 활용할 수 있지만, 릴리스 노트에는 모델 성능에 미치는 영향이 수치로 제시돼 있지 않습니다.