Oossa

llama.cpp 为 CUDA 和 HIP 新增分块 GDN 内核

2026年10月15日发布的 b11632 版本新增 CUDA 和 HIP 分块 GDN 内核,并为 RTX 3090 和 RTX 4090 GPU 启用 SM86/SM89。

简讯作者: Oossa 发布日期: 1 分钟阅读

开源库 llama.cpp 于 2026年10月15日发布 b11632 版本。该版本为 CUDA 和 HIP 新增分块 GDN(高斯扩散归一化)内核,提升了 GPU 支持。经过正确性测试和预填充基准测试后,此次更新为经测试的 Ampere 和 Ada GPU(包括 RTX 3090 和 RTX 4090)启用了 SM86 和 SM89 指令集。旧版本也获得了修复,GDN MMA(矩阵乘加)阶段则改用重构后的 swizzle API。

为什么重要

开发者可在较新的 Nvidia GPU 上获得更快、更可靠的 llama.cpp 推理体验。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。