开源库 llama.cpp 于 2026年10月15日发布 b11632 版本。该版本为 CUDA 和 HIP 新增分块 GDN(高斯扩散归一化)内核,提升了 GPU 支持。经过正确性测试和预填充基准测试后,此次更新为经测试的 Ampere 和 Ada GPU(包括 RTX 3090 和 RTX 4090)启用了 SM86 和 SM89 指令集。旧版本也获得了修复,GDN MMA(矩阵乘加)阶段则改用重构后的 swizzle API。
为什么重要
开发者可在较新的 Nvidia GPU 上获得更快、更可靠的 llama.cpp 推理体验。