De release van llama.cpp b12073 verhelpt een Vulkan-bug bij het opzoeken van UE4M3-schaalwaarden in NVFP4-data. Bepaalde schaalbytes konden ertoe leiden dat de code buiten een gedeelde opzoektabel las. Die tabel bevatte namelijk 128 items, terwijl de ruwe byte 256 waarden kon vertegenwoordigen.
De oplossing breidt de tabel en het daarvoor gereserveerde geheugen uit tot 256 items. Elke NVFP4-pipeline gebruikt 512 bytes extra gedeeld geheugen. Volgens de release-opmerkingen hebben modellen die met llama.cpp zijn gekwantiseerd geen last van de bug, omdat de conversiecode van llama.cpp de bit die de leesactie buiten de tabel veroorzaakt niet instelt.
Waarom het ertoe doet
Wie NVFP4-workloads op Vulkan draait, is beschermd tegen leesacties buiten de opzoektabel. Volgens de release-opmerkingen hebben modellen die met llama.cpp zijn gekwantiseerd geen last van de bug.
