Il progetto llama.cpp ha rilasciato la versione b11636 il 2026-10-15. La versione introduce un layout persistente dei pesi per le quantizzazioni IQ3_S e IQ3_XXS in esecuzione con SYCL. I pesi vengono riordinati una sola volta, al caricamento del modello, così la GPU può elaborare blocchi densi invece di raccogliere singoli bit: questo accelera la decodifica e il prefill. Sulla GPU Intel Arc Pro B70, il modello Qwen3.8‑27B ha aumentato la velocità da 12.92 a 23.54 token al secondo con prompt brevi, con un incremento dell’82 %.
Perché conta
Gli sviluppatori che usano llama.cpp su GPU compatibili con SYCL possono ottenere risposte sensibilmente più rapide senza modificare il codice del modello.
