Oossa

llama.cpp, Hexagon NPU서 SSM_SCAN 지원 추가

오픈소스 llama.cpp 라이브러리가 Qualcomm Hexagon NPU에서 SSM_SCAN 연산을 지원해 Snapdragon 기기의 성능을 높입니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 Qualcomm의 Hexagon NPU에서 SSM_SCAN 연산을 지원하는 새 버전을 출시했습니다. 이번 업데이트에는 커널 최적화, DMA 파이프라인 변경, HMX 지원이 포함됩니다. CUDA 13 지원과 새로운 Snapdragon CPU·GPU·NPU 구성도 추가해 플랫폼 빌드 범위를 넓혔습니다. Qualcomm의 Max Krasnyansky가 이번 변경 사항의 공동 작성자로 참여했습니다.

왜 중요한가

개발자는 Hexagon NPU를 탑재한 Snapdragon 휴대폰에서 llama.cpp 모델을 더 빠르게 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.