ggml-org 团队发布了 llama.cpp b12367,其中一项 CUDA 更新是为非原生构建加入 SM103 SASS(即 GPU 机器码)。这样一来,这些构建可以运行面向 SM103 硬件准备的代码,而无需专门针对该目标进行编译。
此次发布还提供 macOS、iOS 和多个 Linux 系统的可下载版本。发布说明未指出哪些 GPU 使用 SM103,也未提供性能测试结果。
为什么重要
在采用 SM103 的 Nvidia 硬件上运行 llama.cpp 的用户,或许可以使用非原生 CUDA 构建;但发布说明没有列出受影响的 GPU 型号,也没有测量速度变化。