Il team di ggml-org ha pubblicato la versione b11806 di llama.cpp. L’aggiornamento aggiunge il supporto LoRA ai pesi ripiegati prism.hadamard, una tecnica che rende più efficiente il fine-tuning. La release include anche binari precompilati per Apple Silicon, Mac Intel, iOS e diverse configurazioni Linux, comprese le varianti per CPU, Vulkan e CUDA. Gli utenti possono scaricare il pacchetto adatto dalla pagina della release su GitHub.
Perché conta
Gli sviluppatori possono ora eseguire più velocemente modelli sottoposti a fine-tuning LoRA su più piattaforme, senza dover compilare il codice.
