A equipe ggml-org lançou a versão b12329 do llama.cpp. Ela adiciona uma otimização CUDA que incorpora o tratamento das escalas dos pesos às operações de escrita da multiplicação de matrizes, acelerando os checkpoints nvfp4. A atualização também inclui novos binários pré-compilados para Apple Silicon, macOS com Intel, iOS e várias distribuições Linux. As mudanças estão disponíveis para download na página de lançamento do GitHub.
Por que importa
Desenvolvedores podem executar modelos Llama mais rapidamente em GPUs NVIDIA e usar binários prontos para mais plataformas.
