Das Team von ggml-org hat am 2026-11-13 llama.cpp in Version b12366 veröffentlicht. Das Update ergänzt die Unterstützung für BF16 (ein 16-Bit-Gleitkommaformat) in der RMS_NORM-Ebene für CPU- und CUDA-Backends. Eine gemeinsame Hilfsfunktion startet nun die F32-/BF16-RMS_NORM-Kernels. Vorgefertigte Binärdateien für Apple-Silicon- und Intel-Macs, iOS sowie mehrere Ubuntu-Varianten stehen zum Download bereit.
Warum es wichtig ist
Entwickler können Llama-Modelle auf Hardware, die BF16 bevorzugt, schneller ausführen und dabei den Speicherbedarf senken, ohne große Genauigkeitseinbußen hinnehmen zu müssen.
