Il progetto llama.cpp ha pubblicato la versione b11404 il 5 ottobre 2026. Introduce kernel Metal che moltiplicano più righe alla volta (da 2 a 16) sulle GPU Apple. Questi kernel dequantizzano ciascun peso una sola volta e condividono il lavoro tra gruppi SIMD, rendendo la decodifica speculativa su M3 Ultra più veloce rispetto al precedente approccio mat-vec. I nuovi kernel vengono usati solo sui dispositivi che supportano la famiglia di GPU Apple7 e quando il numero di righe raggiunge una soglia (per esempio, 6 righe per F32). La modifica perfeziona anche la logica di fusione ed elimina una fusione con copia in batch che causava problemi.
Perché conta
Chi usa llama.cpp su dispositivi Apple Silicon noterà una latenza inferiore nella generazione di testo con decodifica speculativa, soprattutto sui dispositivi M3 Ultra.
