Oossa

llama.cpp b12367 为 CUDA 构建加入 SM103 支持

新版为未针对该 GPU 目标原生编译的 CUDA 构建加入 SM103 机器码,并提供多个平台的下载版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b12367,其中一项 CUDA 更新是为非原生构建加入 SM103 SASS(即 GPU 机器码)。这样一来,这些构建可以运行面向 SM103 硬件准备的代码,而无需专门针对该目标进行编译。

此次发布还提供 macOS、iOS 和多个 Linux 系统的可下载版本。发布说明未指出哪些 GPU 使用 SM103,也未提供性能测试结果。

为什么重要

在采用 SM103 的 Nvidia 硬件上运行 llama.cpp 的用户,或许可以使用非原生 CUDA 构建;但发布说明没有列出受影响的 GPU 型号,也没有测量速度变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。