Il team ggml‑org ha rilasciato la versione b11789 di llama.cpp. L’aggiornamento aggiunge varianti dp4a GEMM (moltiplicazione di matrici) per OpenCL con caricamento vettoriale delle attivazioni e rinomina i kernel correlati e le variabili d’ambiente. Sono ora disponibili binari precompilati per Apple Silicon, macOS con processori Intel, iOS e diverse versioni di Ubuntu (CPU, Vulkan, CUDA). Le modifiche puntano a migliorare le prestazioni sulle GPU che supportano l’istruzione dp4a.
Perché conta
Gli sviluppatori possono eseguire llama.cpp più velocemente sulle GPU compatibili, riducendo i tempi di inferenza per le applicazioni LLM in locale.
