Oossa

llama.cpp, Apple·Linux용 Q8_0·i8mm 커널 추가

오픈소스 LLaMA 추론 라이브러리에 ARM SVE와 i8mm용 양자화 커널이 추가돼 속도가 향상됐으며, macOS·iOS·Ubuntu용 바이너리도 새로 제공됩니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 2026년 10월 22일 버전 b11811을 출시했습니다. 이번 업데이트에는 ARM CPU에서 양자화 모델 추론 속도를 높이는 Q8_0 SVE 도트 프로덕트 GEMV와 SVE i8mm GEMM 커널이 추가됐습니다. Apple Silicon과 Intel용 macOS, iOS, 그리고 여러 Ubuntu 빌드(CPU, Vulkan, CUDA 12.8)의 사전 빌드 바이너리도 이제 다운로드할 수 있습니다.

왜 중요한가

개발자는 별도의 코드를 작성하지 않고도 최신 ARM 하드웨어와 Linux GPU에서 LLaMA 모델을 더 빠르게 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.