Oossa

llama.cpp, Hexagon 텐서 재패킹·새 양자화 지원 추가

2026년 10월 16일 공개된 b11680은 Hexagon 지원을 개편하고, 타일형 Q5_K get-rows와 원시 k-quant 텐서를 지원하며 하드웨어 백엔드를 확대합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

오픈소스 llama.cpp 라이브러리가 2026년 10월 16일 버전 b11680을 공개했습니다. 이번 업데이트에서는 Hexagon NPU 코드를 전면 개편해 기존의 편법을 제거하고, F16/F32/BF16 가중치의 텐서 재패킹을 추가했으며 타일형 Q5_K get-rows와 원시 k-quant 텐서를 지원합니다. 내부 커널도 다수 정리하고 CPU, CUDA, Vulkan, Hexagon 지원 기기를 비롯한 여러 백엔드의 성능을 개선했습니다. 프로젝트는 macOS, Linux, Android, Windows 및 여러 openEuler 구성용 빌드를 제공합니다.

왜 중요한가

개발자는 이제 Hexagon 기반 스마트폰과 기타 특수 하드웨어에서 llama.cpp 모델을 더 효율적으로 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.