# llama.cpp beschleunigt spekulatives Decoding auf dem Apple M3 Ultra

> Die Open-Source-Laufzeitumgebung für LLMs nutzt auf Apple Silicon neue Matrixmultiplikations-Kernels und verkürzt so bei bestimmten quantisierten Modellen die Token-Generierungszeit.

Oossa · 2026-10-05 · https://oossa.com/de/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

Das llama.cpp-Projekt hat am 5. Okt. 2026 Version b11404 veröffentlicht. Sie enthält Metal-Kernels, die mehrere Zeilen gleichzeitig (2–16 Zeilen) auf Apple-GPUs multiplizieren. Dabei dequantisieren die Kernels jedes Gewicht nur einmal und teilen die Arbeit auf SIMD-Gruppen auf. Dadurch läuft spekulatives Decoding auf einem M3 Ultra schneller als mit dem bisherigen Mat-Vec-Verfahren. Die neuen Kernels kommen nur auf Geräten mit Unterstützung für die Apple7-GPU-Familie zum Einsatz und erst ab einer bestimmten Zeilenzahl (bei F32 beispielsweise ab 6 Zeilen). Außerdem wurde die Fusionslogik verfeinert und eine Batch-Copy-Fusion entfernt, die Probleme verursacht hatte.

## Die Fakten

- Veröffentlichungsdatum: 5. Okt. 2026 („Mon Oct 05 2026 08:06:22 GMT+0200“).
- Die neuen Metal-Kernels verarbeiten 2–16 Zeilen und beschleunigen spekulatives Decoding auf dem M3 Ultra.

## Warum es wichtig ist

Wer llama.cpp auf Apple-Silicon-Geräten nutzt, profitiert beim Generieren von Text mit spekulativem Decoding von geringerer Latenz – besonders auf Geräten mit M3 Ultra.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

Zuletzt aktualisiert: 2026-10-05