A equipe ggml-org lançou a versão b12202 do llama.cpp. A atualização adiciona suporte à precisão BF16 (ponto flutuante de 16 bits no formato brain) em operações importantes de multiplicação de matrizes. A mudança reproduz a implementação de referência e já é aceita pelo CUDA, Vulkan, OpenCL, Hexagon e outras plataformas. Os testes de flash attention agora também são executados em BF16, além do modo F32 já existente.
Por que importa
Desenvolvedores podem executar modelos LLaMA mais rapidamente em hardwares que favorecem BF16, como GPUs mais recentes.
