El equipo de ggml‑org publicó la versión b12202 de llama.cpp. Esta añade compatibilidad con la precisión BF16 (punto flotante de 16 bits con formato brain) en operaciones clave de multiplicación de matrices. El cambio replica la implementación de referencia y ya está admitido por CUDA, Vulkan, OpenCL, Hexagon y otros backends. Las pruebas de flash-attention ahora también se ejecutan en BF16, además del modo F32 existente.
Por qué importa
Los desarrolladores pueden ejecutar modelos LLaMA más rápido en hardware optimizado para BF16, como las GPU más recientes.
