Il team ggml-org ha pubblicato la versione b11640 di llama.cpp. L’aggiornamento modifica il backend Vulkan, introducendo una pianificazione dei gruppi di lavoro per la moltiplicazione di matrici ottimizzata per la cache L2. Include anche nuovi binari precompilati per Apple Silicon, Mac Intel, iOS e diverse versioni di Ubuntu (CPU, Vulkan e CUDA 12.8). I pacchetti si possono scaricare dalla pagina della release su GitHub.
Perché conta
La modifica può velocizzare l’esecuzione dei modelli LLaMA sulle GPU compatibili con Vulkan, a vantaggio degli sviluppatori che lavorano su dispositivi Linux e Android.
