ggml-org 发布了 llama.cpp b12530,带来一项 WebAssembly 更新:修复了 relaxed SIMD 内核,并新增对 q3_K 和 q6_K 模型格式的支持。发布页面还提供 macOS、iOS 和多个 Linux 系统的下载版本。
该版本还提供适用于 Ubuntu x64、arm64 和 s390x 等平台的 CPU 构建版本。发布说明未说明 WebAssembly 更新对运行速度有多大影响。
为什么重要
使用 WebAssembly 构建 llama.cpp 的开发者现在可以使用新增的 q3_K 和 q6_K 支持,但发布说明没有量化性能变化。