llama.cpp b12073 版修复了一项 Vulkan 漏洞,涉及 NVFP4 数据查找 UE4M3 缩放值的方式。某些缩放字节可能导致代码读取超出共享内存查找表的范围,因为该表只有 128 个条目,而原始字节可以表示 256 个值。
此次修复将查找表及其内存预算扩大到 256 个条目。每条 NVFP4 处理流水线会多占用 512 字节共享内存。发布说明称,使用 llama.cpp 量化的模型不受影响,因为其转换代码不会设置触发越界查找的位。
为什么重要
根据发布说明,在 Vulkan 上运行 NVFP4 工作负载的用户现在可以避免越界查找;而使用 llama.cpp 量化的模型不受此漏洞影响。