# llama.cpp får Metal-kärnor för snabbare spekulativ avkodning på M3 Ultra

> Körtidsmiljön för öppna LLM-modeller använder nu nya matrisproduktkärnor på Apple Silicon, vilket minskar tiden för token-generering i vissa kvantiserade modeller.

Oossa · 2026-10-05 · https://oossa.com/sv/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

Projektet llama.cpp släppte version b11404 den 5 okt. 2026. Den innehåller Metal-kärnor som multiplicerar flera rader åt gången (2–16 rader) på Apple-GPU:er. Kärnorna avkvantiserar varje vikt en gång och delar arbetet mellan SIMD-grupper, vilket gör spekulativ avkodning snabbare på en M3 Ultra än med den tidigare matris-vektor-metoden. De nya kärnorna används bara på enheter med stöd för GPU-familjen Apple7 och när antalet rader når en viss tröskel (till exempel 6 rader för F32). Ändringen förbättrar också fusionslogiken och tar bort en fusion för kopiering i batchar som orsakade problem.

## Fakta

- Släppdatum: 5 okt. 2026 ("Mon Oct 05 2026 08:06:22 GMT+0200").
- De nya Metal-kärnorna hanterar 2–16 rader och förbättrar spekulativ avkodning på M3 Ultra.

## Varför det spelar roll

Apple Silicon-användare som kör llama.cpp får lägre fördröjning när de genererar text med spekulativ avkodning, särskilt på enheter med M3 Ultra.

## Källor och referenser

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

Senast uppdaterad: 2026-10-05