A equipe ggml-org lançou a versão b11406 do llama.cpp. Ela adiciona suporte no WebGPU aos caminhos de quantização MMVQ Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K e MXFP4. A versão também disponibiliza binários pré-compilados para macOS (Apple Silicon e Intel), iOS e várias configurações do Ubuntu (CPU, Vulkan e CUDA).
Por que importa
Desenvolvedores agora podem executar mais LLMs com uso eficiente de memória em navegadores ou em GPUs compatíveis com WebGPU, ampliando as possibilidades de implantação do llama.cpp.