A equipe ggml‑org lançou a versão b11789 do llama.cpp. A atualização adiciona variantes dp4a de GEMM (multiplicação de matrizes) para OpenCL, com carregamento vetorial de ativações, e renomeia kernels e variáveis de ambiente relacionados. Agora há binários pré-compilados para Apple Silicon, macOS com processadores Intel, iOS e várias versões do Ubuntu (CPU, Vulkan e CUDA). As mudanças buscam melhorar o desempenho em GPUs compatíveis com a instrução dp4a.
Por que importa
Desenvolvedores podem executar o llama.cpp mais rapidamente em GPUs compatíveis, reduzindo o tempo de inferência em aplicações locais de LLM.
