Oossa

llama.cpp b11406 新增多种 WebGPU 量化格式

开源库 llama.cpp 现已在 WebGPU 上支持多种低精度格式,并提供适用于 macOS、Linux 和 iOS 的预编译二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队发布了 llama.cpp b11406 版本。该版本为 MMVQ 量化路径新增了对 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 的 WebGPU 支持。此次发布还提供了适用于 macOS(Apple Silicon 和 Intel)、iOS 以及多个 Ubuntu 版本的预编译二进制文件(CPU、Vulkan 和 CUDA)。

为什么重要

开发者现在可以在浏览器中,或使用支持 WebGPU 的 GPU,运行更多内存占用更低的大语言模型,从而拓展 llama.cpp 的部署场景。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。