A equipe ggml-org publicou a versão b11806 do llama.cpp. A atualização adiciona suporte a pesos LoRA dobrados prism.hadamard, uma técnica que torna o ajuste fino mais eficiente. O lançamento também oferece binários pré-compilados para Apple Silicon, Macs com Intel, iOS e várias versões do Linux, incluindo variantes para CPU, Vulkan e CUDA. Os usuários podem baixar o pacote adequado na página do lançamento no GitHub.
Por que importa
Agora, desenvolvedores podem executar modelos ajustados com LoRA mais rapidamente em mais plataformas, sem precisar compilar o código por conta própria.
