Oossa

llama.cpp aggiunge il supporto BF16 a RMS_NORM su CPU e CUDA

La libreria open source per l’inferenza Llama supporta ora la precisione BF16 nell’operazione RMS_NORM. Sono disponibili binari per macOS, iOS e Linux.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il team ggml-org ha pubblicato la versione b12366 di llama.cpp il 2026-11-13. L’aggiornamento aggiunge il supporto BF16 (un formato floating-point a 16 bit) al livello RMS_NORM per i backend CPU e CUDA. Un’unica funzione helper ora avvia i kernel RMS_NORM F32/BF16. Sono disponibili per il download binari precompilati per macOS con Apple Silicon, Intel, iOS e diverse varianti di Ubuntu.

Perché conta

Gli sviluppatori possono eseguire i modelli Llama più velocemente sui dispositivi che privilegiano BF16, riducendo l’uso della memoria senza perdere molta precisione.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.