Il team ggml‑org ha rilasciato llama.cpp versione b12345. L’aggiornamento aggiunge il supporto alla quantizzazione Q5_0 e Q5_1, una compressione a 5 bit che può accelerare l’inferenza. Include anche kernel dedicati a questi formati per i dispositivi Hexagon. Sono disponibili binari precompilati per macOS Apple Silicon, macOS Intel, iOS e diverse versioni di Ubuntu, comprese varianti solo CPU e Vulkan.
Perché conta
Gli sviluppatori possono eseguire gli LLM più velocemente su hardware a basso consumo, ampliando la gamma di dispositivi in grado di ospitare modelli di IA in locale.
