Het team van ggml-org heeft versie b12202 van llama.cpp uitgebracht. Deze versie voegt ondersteuning toe voor BF16-precisie (brain floating point van 16 bits) bij belangrijke matrixvermenigvuldigingen. De wijziging volgt de referentie-implementatie en wordt nu ondersteund door CUDA, Vulkan, OpenCL, Hexagon en andere backends. Tests voor flash-attention draaien nu zowel met BF16 als met de bestaande F32-modus.
Waarom het ertoe doet
Ontwikkelaars kunnen LLaMA-modellen sneller uitvoeren op hardware die BF16 beter ondersteunt, zoals nieuwere GPU's.
