ggml-org가 WebAssembly를 업데이트한 llama.cpp b12530을 출시했습니다. relaxed SIMD 커널을 수정하고 q3_K 및 q6_K 모델 형식 지원을 추가했습니다. 출시 페이지에는 macOS, iOS와 여러 Linux 시스템용 다운로드도 올라와 있습니다.
이번 버전에는 Ubuntu x64, arm64, s390x 등을 위한 CPU 빌드가 포함됩니다. 출시 노트에는 WebAssembly 변경으로 속도가 얼마나 달라지는지 나와 있지 않습니다.
왜 중요한가
WebAssembly용 llama.cpp를 빌드하는 개발자는 새로 추가된 q3_K 및 q6_K 지원을 활용할 수 있습니다. 다만 출시 노트에는 성능 변화가 수치로 제시되지 않았습니다.