Il team ggml-org ha rilasciato llama.cpp versione b12202. L’aggiornamento aggiunge il supporto alla precisione BF16 (brain floating point a 16 bit) per importanti moltiplicazioni di matrici. La modifica replica l’implementazione di riferimento ed è ora supportata da CUDA, Vulkan, OpenCL, Hexagon e altri backend. I test per flash-attention ora vengono eseguiti anche in BF16, oltre che nella modalità F32 già disponibile.
Perché conta
Gli sviluppatori possono eseguire i modelli LLaMA più velocemente sull’hardware che privilegia BF16, per esempio le GPU più recenti.
