Das ggml‑org-Team hat llama.cpp in Version b12202 veröffentlicht. Neu ist die Unterstützung der BF16-Präzision (Brain Floating Point, 16 Bit) bei wichtigen Matrixmultiplikationen. Die Änderung entspricht der Referenzimplementierung und wird nun von CUDA, Vulkan, OpenCL, Hexagon und weiteren Backends unterstützt. Tests für Flash Attention laufen jetzt neben dem bisherigen F32-Modus auch mit BF16.
Warum es wichtig ist
Entwickler können LLaMA-Modelle auf Hardware, die BF16 bevorzugt, etwa neueren GPUs, schneller ausführen.
