L’équipe ggml-org a publié la version b12202 de llama.cpp. Elle ajoute la prise en charge de la précision BF16 (format flottant binaire de 16 bits, dit « brain floating point ») pour les principales multiplications matricielles. Cette modification reprend l’implémentation de référence et est désormais prise en charge par CUDA, Vulkan, OpenCL, Hexagon et d’autres backends. Les tests de flash-attention s’exécutent maintenant en BF16, en plus du mode F32 déjà disponible.
Pourquoi c'est important
Les développeurs peuvent exécuter plus rapidement les modèles LLaMA sur les matériels qui privilégient le BF16, comme les GPU récents.
