# llama.cpp新增多行Metal内核，加快Apple M3 Ultra上的推测解码

> 这款开源大语言模型运行时为Apple Silicon引入新的矩阵乘法内核，可缩短部分量化模型的生成时间。

Oossa · 2026-10-05 · https://oossa.com/zh/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

llama.cpp项目于2026年10月5日发布b11404版本。该版本为Apple GPU新增了可一次处理多行（2–16行）的Metal内核。这些内核只需对每个权重反量化一次，并由多个SIMD组共享计算，因此在M3 Ultra上进行推测解码时，速度比此前的矩阵向量乘法方案更快。新内核仅适用于支持Apple7 GPU系列的设备，且行数达到设定阈值时才会启用（例如，F32需要达到6行）。此次更新还改进了融合逻辑，并移除了一个会导致问题的批量复制融合操作。

## 事实

- 发布日期：2026年10月5日（“Mon Oct 05 2026 08:06:22 GMT+0200”）。
- 新Metal内核可处理2–16行，并能加快M3 Ultra上的推测解码。

## 为什么重要

使用llama.cpp的Apple Silicon用户在通过推测解码生成文本时，延迟会有所降低，M3 Ultra设备上的提升尤其明显。

## 来源与参考

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

最后更新: 2026-10-05