Oossa

llama.cpp b11489, Q6_K 가중치 역양자화 속도 개선

버전 b11489는 Q6_K 가중치 역양자화 속도를 높이고 언롤링 배수를 두 배로 늘렸으며, macOS·iOS·Linux용 새 바이너리를 추가했습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml‑org 팀이 llama.cpp 버전 b11489를 공개했습니다. 릴리스 노트에 따르면 이번 업데이트는 압축된 모델 가중치를 다시 사용할 수 있는 숫자로 변환하는 단계인 Q6_K 가중치 역양자화 속도를 높이고, 언롤링 배수를 두 배로 늘렸습니다. Apple Silicon, Intel macOS, iOS와 Vulkan 및 CUDA 빌드를 포함한 여러 Ubuntu 구성용 사전 빌드 바이너리도 제공됩니다.

왜 중요한가

역양자화가 빨라지면 같은 하드웨어에서 LLM을 더 낮은 지연 시간으로 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.