Il team di ggml-org ha pubblicato llama.cpp versione b11685. La release introduce un’ottimizzazione SYCL chiamata «wide stores» per la dequantizzazione dei pesi q4_K e q5_K. Include binari precompilati per macOS con Apple Silicon, macOS con processori Intel, iOS e diverse versioni di Ubuntu (CPU, Vulkan e CUDA 12.8). La modifica punta ad accelerare l’inferenza dei modelli quantizzati sulle GPU compatibili con SYCL.
Perché conta
Gli sviluppatori possono eseguire più velocemente LLM quantizzati sulle GPU SYCL, ampliando la scelta di hardware economico per le app di IA.
