ggml-org 团队发布了 llama.cpp b11623,为不支持 WMMA 的 AMD GPU 增加了用于 2D 卷积的 SIMT 隐式 GEMM 路径。对于归约长度较短的情况,此路径会被跳过;发布说明没有提供速度数据,也未说明哪些 AMD 显卡会受益。可下载的构建版本适用于 macOS、iOS 和多个 Linux 平台。
为什么重要
对于在 AMD GPU 上运行 llama.cpp 的开发者来说,这项改动在 WMMA 不可用时提供了一条卷积路径,但发布说明未明确其性能影响和支持的硬件。