Oossa

llama.cpp prend en charge BF16 pour RMS_NORM sur CPU et CUDA

La bibliothèque open source d’inférence Llama prend désormais en charge la précision BF16 dans l’opération RMS_NORM. Des binaires sont disponibles pour macOS, iOS et Linux.

BrèvePar Publié par Oossa: 1 min de lecture

L’équipe ggml-org a publié la version b12366 de llama.cpp le 2026-11-13. Cette mise à jour ajoute la prise en charge de BF16 (un format à virgule flottante sur 16 bits) pour la couche RMS_NORM, sur les backends CPU et CUDA. Un seul utilitaire lance désormais les noyaux RMS_NORM en F32 et en BF16. Des binaires précompilés pour les Mac Apple Silicon, les Mac Intel, iOS et plusieurs variantes d’Ubuntu sont disponibles en téléchargement.

Pourquoi c'est important

Les développeurs peuvent exécuter des modèles Llama plus rapidement sur le matériel optimisé pour BF16, en réduisant l’utilisation de la mémoire sans trop perdre en précision.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.