La version b12073 de llama.cpp corrige un bug Vulkan dans la recherche des valeurs d’échelle UE4M3 pour les données NVFP4. Certaines valeurs d’échelle pouvaient entraîner une lecture au-delà des limites d’une table de correspondance en mémoire partagée : celle-ci comptait 128 entrées, alors que l’octet brut pouvait représenter 256 valeurs.
Le correctif porte la table et les budgets mémoire à 256 entrées. Chaque pipeline NVFP4 utilise 512 octets de mémoire partagée supplémentaires. Selon les notes de version, les modèles quantifiés par llama.cpp ne sont pas concernés, car son code de conversion ne définit pas le bit qui déclenche la lecture hors limites.
Pourquoi c'est important
Les personnes qui exécutent des charges de travail NVFP4 sous Vulkan sont protégées contre une lecture hors limites. D’après les notes de version, les modèles quantifiés par llama.cpp ne sont pas concernés par ce bug.
