llama.cpp b12122 为 NVFP4 新增融合 CUDA 操作

该版本在一条 CUDA 路径中合并了 NVFP4 的两个模型计算步骤。现已提供多个平台的构建版本。

简讯作者： OossaOossa 发布日期: 2026年11月5日 07:40 UTC1 分钟阅读

llama.cpp 项目发布了 b12122 版，新增一项 CUDA 优化：在 MMQ 矩阵乘法路径中，将 NVFP4 门控/上投影矩阵乘法与 GLU 操作融合。NVFP4 是一种用于部分 AI 计算的紧凑数值格式；合并计算步骤可以减少单独执行的工作，但发布说明未提供性能数据。

该版本还提供适用于 macOS、iOS 和 Ubuntu 的可下载构建版本，覆盖 x64、Arm64 和 s390x 平台。

为什么重要

使用 CUDA 运行受支持的 NVFP4 工作负载时，用户可能可以使用融合计算路径；但发布说明没有量化其速度或内存收益。

1 个来源

这篇文章有帮助吗？

Oossa · 新闻简报

一周 AI，讲明白

每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。