Oossa

llama.cpp b11789 新增 OpenCL dp4a 矩阵乘法变体

开源库 llama.cpp 发布 b11789 版,新增用于加速矩阵运算的 OpenCL 内核,并提供 macOS、iOS 和 Ubuntu 新版二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml‑org 团队发布了 llama.cpp b11789 版。此次更新为 OpenCL 增加了带向量激活值加载的 dp4a GEMM(矩阵乘法)变体,并重命名了相关内核和环境变量。现已提供适用于 Apple Silicon、Intel macOS、iOS 以及多个 Ubuntu 版本的预编译二进制文件(CPU、Vulkan、CUDA)。这些改动旨在提升支持 dp4a 指令的 GPU 的性能。

为什么重要

开发者可在兼容 GPU 上更快运行 llama.cpp,从而缩短本地大语言模型应用的推理时间。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。