Oossa

llama.cpp b12530 增加 WebAssembly SIMD 支持

此版本更新了 llama.cpp 的 WebAssembly 内核,并新增对 q3_K 和 q6_K 格式的支持,还提供多个平台的可下载构建版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 发布了 llama.cpp b12530,带来一项 WebAssembly 更新:修复了 relaxed SIMD 内核,并新增对 q3_K 和 q6_K 模型格式的支持。发布页面还提供 macOS、iOS 和多个 Linux 系统的下载版本。

该版本还提供适用于 Ubuntu x64、arm64 和 s390x 等平台的 CPU 构建版本。发布说明未说明 WebAssembly 更新对运行速度有多大影响。

为什么重要

使用 WebAssembly 构建 llama.cpp 的开发者现在可以使用新增的 q3_K 和 q6_K 支持,但发布说明没有量化性能变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。