Il team ggml-org ha rilasciato llama.cpp versione b11747. Include binari precompilati per macOS su Apple Silicon, macOS su Mac Intel, iOS e diverse build di Ubuntu, comprese quelle per CPU, Vulkan e CUDA 12.8. La release segnala anche una patch per ridimensionare le immagini di Qwen-VL in modo da allinearsi a Transformers. Gli utenti possono scaricare il pacchetto appropriato dalla pagina della release su GitHub.
Perché conta
Gli sviluppatori possono eseguire localmente i modelli LLaMA su più dispositivi senza dover compilare il software dal codice sorgente.
