Oossa

llama.cpp b11623 为 AMD GPU 增加卷积路径

此版本为不支持 WMMA 的 AMD GPU 增加了基于 SIMT 的 conv2d 路径。项目未公布这项改动的性能数据。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11623,为不支持 WMMA 的 AMD GPU 增加了用于 2D 卷积的 SIMT 隐式 GEMM 路径。对于归约长度较短的情况,此路径会被跳过;发布说明没有提供速度数据,也未说明哪些 AMD 显卡会受益。可下载的构建版本适用于 macOS、iOS 和多个 Linux 平台。

为什么重要

对于在 AMD GPU 上运行 llama.cpp 的开发者来说,这项改动在 WMMA 不可用时提供了一条卷积路径,但发布说明未明确其性能影响和支持的硬件。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。