ggml‑org 团队发布了 llama.cpp b11406 版本。该版本为 MMVQ 量化路径新增了对 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 的 WebGPU 支持。此次发布还提供了适用于 macOS(Apple Silicon 和 Intel)、iOS 以及多个 Ubuntu 版本的预编译二进制文件(CPU、Vulkan 和 CUDA)。
为什么重要
开发者现在可以在浏览器中,或使用支持 WebGPU 的 GPU,运行更多内存占用更低的大语言模型,从而拓展 llama.cpp 的部署场景。