llama.cpp新增多行Metal内核，加快Apple M3 Ultra上的推测解码

这款开源大语言模型运行时为Apple Silicon引入新的矩阵乘法内核，可缩短部分量化模型的生成时间。

简讯作者： OossaOossa 发布日期: 2026年10月5日 06:38 UTC1 分钟阅读

llama.cpp项目于2026年10月5日发布b11404版本。该版本为Apple GPU新增了可一次处理多行（2–16行）的Metal内核。这些内核只需对每个权重反量化一次，并由多个SIMD组共享计算，因此在M3 Ultra上进行推测解码时，速度比此前的矩阵向量乘法方案更快。新内核仅适用于支持Apple7 GPU系列的设备，且行数达到设定阈值时才会启用（例如，F32需要达到6行）。此次更新还改进了融合逻辑，并移除了一个会导致问题的批量复制融合操作。