La versión b12073 de llama.cpp corrige un fallo de Vulkan en la búsqueda de valores de escala UE4M3 para datos NVFP4. Ciertos bytes de escala podían hacer que el código leyera más allá de una tabla de búsqueda en memoria compartida, ya que la tabla tenía 128 entradas y el byte sin procesar podía representar 256 valores.
La corrección amplía la tabla y el espacio de memoria asignado para que tenga 256 entradas. Cada canalización NVFP4 usa 512 bytes más de memoria compartida. Según las notas de la versión, los modelos cuantizados con llama.cpp no se ven afectados, porque su código de conversión no activa el bit que provoca la lectura fuera de los límites.
Por qué importa
Quienes ejecutan cargas de trabajo NVFP4 en Vulkan quedan protegidos frente a una búsqueda fuera de los límites, mientras que, según las notas de la versión, el fallo no afecta a los modelos cuantizados con llama.cpp.
