Il team ggml‑org ha rilasciato la versione b12329 di llama.cpp. Include un’ottimizzazione CUDA che integra la gestione delle scale dei pesi nelle operazioni di scrittura delle moltiplicazioni tra matrici, accelerando i checkpoint nvfp4. L’aggiornamento aggiunge anche nuovi binari precompilati per Apple Silicon, macOS con processori Intel, iOS e diverse distribuzioni Linux. Le modifiche si possono scaricare dalla pagina della release su GitHub.
Perché conta
Gli sviluppatori possono eseguire più velocemente i modelli Llama sulle GPU NVIDIA e usare binari già pronti su un numero maggiore di piattaforme.
