Oossa

llama.cpp b11406, WebGPU 양자화 형식 추가

오픈소스 llama.cpp 라이브러리가 WebGPU에서 여러 저정밀도 형식을 지원하며, macOS·Linux·iOS용 바이너리도 제공됩니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 llama.cpp 버전 b11406을 공개했습니다. 이번 버전은 MMVQ 양자화 경로인 Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K, MXFP4의 WebGPU 지원을 추가했습니다. macOS(Apple Silicon 및 Intel), iOS와 여러 Ubuntu 빌드(CPU, Vulkan, CUDA)용 사전 빌드 바이너리도 제공합니다.

왜 중요한가

개발자는 이제 브라우저나 WebGPU를 사용하는 GPU에서 메모리 효율성이 높은 LLM을 더 다양하게 실행할 수 있어, llama.cpp를 배포할 수 있는 환경이 넓어집니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.