# llama.cpp accelera la decodifica speculativa su Apple M3 Ultra

> Il runtime open source per LLM introduce nuovi kernel di moltiplicazione di matrici su Apple Silicon, riducendo i tempi di generazione dei token per alcuni modelli quantizzati.

Oossa · 2026-10-05 · https://oossa.com/it/llama-cpp-adds-few-row-metal-kernels-for-faster-speculative-decoding-on-apple-m3

Il progetto llama.cpp ha pubblicato la versione b11404 il 5 ottobre 2026. Introduce kernel Metal che moltiplicano più righe alla volta (da 2 a 16) sulle GPU Apple. Questi kernel dequantizzano ciascun peso una sola volta e condividono il lavoro tra gruppi SIMD, rendendo la decodifica speculativa su M3 Ultra più veloce rispetto al precedente approccio mat-vec. I nuovi kernel vengono usati solo sui dispositivi che supportano la famiglia di GPU Apple7 e quando il numero di righe raggiunge una soglia (per esempio, 6 righe per F32). La modifica perfeziona anche la logica di fusione ed elimina una fusione con copia in batch che causava problemi.

## I fatti

- Data di rilascio: 5 ottobre 2026 ("Mon Oct 05 2026 08:06:22 GMT+0200").
- I nuovi kernel Metal gestiscono da 2 a 16 righe e migliorano la decodifica speculativa su M3 Ultra.

## Perché conta

Chi usa llama.cpp su dispositivi Apple Silicon noterà una latenza inferiore nella generazione di testo con decodifica speculativa, soprattutto sui dispositivi M3 Ultra.

## Fonti e riferimenti

1. [ggml-org/llama.cpp b11404](https://github.com/ggml-org/llama.cpp/releases/tag/b11404) – llama.cpp, 2026-10-05

Ultimo aggiornamento: 2026-10-05