A equipe ggml-org publicou a versão b11640 do llama.cpp. A atualização altera o backend Vulkan para usar um agendamento de workgroups mais adequado ao cache L2 nas multiplicações de matrizes. Também traz novos binários pré-compilados para Apple Silicon, Macs com processadores Intel, iOS e várias versões do Ubuntu (CPU, Vulkan e CUDA 12.8). Os pacotes podem ser baixados na página de lançamentos do GitHub.
Por que importa
A mudança pode acelerar a execução de modelos LLaMA em GPUs compatíveis com Vulkan, beneficiando desenvolvedores que usam Linux e dispositivos Android.
