Il progetto ggml‑org/llama.cpp ha rilasciato la versione b12342, che introduce un nuovo kernel CUDA int8 MMA per le operazioni MMQ (moltiplicazione di matrici e quantizzazione) con poche righe. È compatibile con le quantizzazioni Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS sulle GPU NVIDIA dalla generazione Ampere in poi. La novità punta ad accelerare le passate di verifica della decodifica speculativa. L’aggiornamento include anche diverse correzioni ai test e alle protezioni.
Perché conta
Gli sviluppatori possono eseguire inferenze LLM più rapidamente sulle GPU compatibili, riducendo la latenza delle applicazioni di IA interattive.
