ggml‑org 团队发布了 llama.cpp b11789 版。此次更新为 OpenCL 增加了带向量激活值加载的 dp4a GEMM(矩阵乘法)变体,并重命名了相关内核和环境变量。现已提供适用于 Apple Silicon、Intel macOS、iOS 以及多个 Ubuntu 版本的预编译二进制文件(CPU、Vulkan、CUDA)。这些改动旨在提升支持 dp4a 指令的 GPU 的性能。
为什么重要
开发者可在兼容 GPU 上更快运行 llama.cpp,从而缩短本地大语言模型应用的推理时间。