Oossa

llama.cpp 发布 b11640,修复 Vulkan 工作组调度

这款开源 LLM 运行时优化了矩阵乘法的工作组调度,并为 macOS、iOS 和 Ubuntu 发布更新后的二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11640 版本。此次更新调整了 Vulkan 后端的矩阵乘法工作组调度,使其更适配 L2 缓存。团队还提供了适用于 Apple Silicon、Intel Mac、iOS 以及多个 Ubuntu 版本的预编译二进制文件,涵盖 CPU、Vulkan 和 CUDA 12.8。用户可前往 GitHub 发布页面下载。

为什么重要

这项改动有望提升支持 Vulkan 的 GPU 运行 LLaMA 模型的速度,让 Linux 和 Android 设备上的开发者受益。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。