Il team ggml-org ha pubblicato llama.cpp versione b11487. L’aggiornamento aggiunge il supporto GET_ROWS tiled per Q4_K e Q6_K sui processori Hexagon e migliora la gestione delle viste Q4_K. Sono disponibili binari precompilati per Apple Silicon, Mac con processori Intel, iOS e diverse versioni di Ubuntu (CPU e Vulkan). L’aggiornamento si può scaricare dalla pagina della release su GitHub.
Perché conta
Gli sviluppatori possono ora eseguire i modelli Llama in modo più efficiente sui dispositivi basati su Hexagon, come quelli con chip Qualcomm, migliorando le prestazioni sull’hardware mobile e integrato supportato.
