Oossa

llama.cpp 为量化模型新增 OpenCL DP4A 内核

这款开源 LLaMA 推理库现已支持 q4_0、q4_k 和 q6_k 格式的 cooperative-k DP4A 矩阵乘法。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org/llama.cpp 项目于 2026-10-19 发布 b11741 版本。该版本新增使用 DP4A 指令的 OpenCL 内核,可加速三种量化格式(q4_0、q4_k、q6_k)的矩阵乘法。更新还修复了一项对齐问题,并附带适用于 macOS(Apple Silicon 和 Intel)及多个 Ubuntu 目标平台的预编译二进制文件,其中包括 Vulkan 构建版本。

为什么重要

开发者可以在兼容 OpenCL 的 GPU 上更快地运行 LLaMA 模型,让本地推理更实用。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。