A versão b12073 do llama.cpp corrige uma falha no Vulkan na busca por valores de escala UE4M3 em dados NVFP4. Determinados bytes de escala podiam fazer o código ler além dos limites de uma tabela de consulta na memória compartilhada, que tinha 128 entradas, embora o byte bruto pudesse representar 256 valores.
A correção amplia a tabela e os limites de memória para 256 entradas. Cada pipeline NVFP4 passa a usar 512 bytes a mais de memória compartilhada. Segundo as notas da versão, modelos quantizados pelo llama.cpp não são afetados, porque o código de conversão não define o bit que dispara a busca fora dos limites.
Por que importa
Quem executa cargas de trabalho NVFP4 no Vulkan fica protegido contra uma busca fora dos limites. Segundo as notas da versão, modelos quantizados pelo llama.cpp não são afetados pela falha.
