Version b12073 av llama.cpp åtgärdar ett Vulkan-fel i hur NVFP4-data slår upp UE4M3-skalvärden. Vissa skalbyte kunde få koden att läsa utanför en tabell i delat minne, eftersom tabellen hade 128 poster medan råbyten kunde representera 256 värden.
Åtgärden utökar tabellen och minnesbudgeten så att de rymmer 256 poster. Varje NVFP4-pipeline använder 512 byte mer delat minne. Enligt versionsinformationen påverkas inte modeller som kvantiserats med llama.cpp, eftersom konverteringskoden inte sätter den bit som utlöser uppslagningen utanför tabellen.
Varför det spelar roll
Den som kör NVFP4-arbetslaster med Vulkan skyddas från uppslagning utanför tabellen. Enligt versionsinformationen påverkas modeller som kvantiserats med llama.cpp inte av felet.
