La versione b12073 di llama.cpp corregge un bug di Vulkan nel lookup dei valori di scala UE4M3 per i dati NVFP4. Alcuni byte di scala potevano far leggere al codice oltre i limiti di una tabella di lookup in memoria condivisa: la tabella conteneva 128 voci, mentre il byte grezzo poteva rappresentare 256 valori.
La correzione porta a 256 le voci della tabella e adegua di conseguenza la memoria allocata. Ogni pipeline NVFP4 usa 512 byte in più di memoria condivisa. Le note di rilascio precisano che i modelli quantizzati da llama.cpp non sono interessati, perché il codice di conversione non imposta il bit che innesca la lettura fuori dai limiti.
Perché conta
Chi esegue carichi di lavoro NVFP4 su Vulkan è protetto da letture fuori dai limiti; secondo le note di rilascio, i modelli quantizzati da llama.cpp non sono invece interessati dal bug.
