# llama.cpp versnelt speculative decoding op Apple M3 Ultra

> De open-source LLM-runtime gebruikt nu nieuwe matrixvermenigvuldigingskernels op Apple Silicon. Daardoor genereren bepaalde gekwantiseerde modellen tokens sneller.

Oossa · 2026-10-05 · https://oossa.com/nl/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

Het llama.cpp-project bracht op 5 oktober 2026 versie b11404 uit. Die voegt Metal-kernels toe die meerdere rijen tegelijk vermenigvuldigen (2–16 rijen) op Apple-GPU’s. De kernels dekwantiseren elk gewicht één keer en delen het werk over SIMD-groepen. Daardoor verloopt speculative decoding op een M3 Ultra sneller dan met de eerdere mat-vec-aanpak. De nieuwe kernels worden alleen gebruikt op apparaten die de Apple7-GPU-familie ondersteunen en wanneer het aantal rijen een bepaalde drempel bereikt (bijvoorbeeld 6 rijen voor F32). De wijziging verfijnt ook de fusieregels en verwijdert een fusie voor batchkopieën die problemen veroorzaakte.

## De feiten

- Releasedatum: 5 oktober 2026 ("Mon Oct 05 2026 08:06:22 GMT+0200").
- De nieuwe Metal-kernels verwerken 2–16 rijen en versnellen speculative decoding op de M3 Ultra.

## Waarom het ertoe doet

Apple-Silicon-gebruikers die llama.cpp gebruiken, merken bij speculative decoding een lagere latentie tijdens het genereren van tekst, vooral op apparaten met een M3 Ultra.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

Laatst bijgewerkt: 2026-10-05