Выпуск llama.cpp b12073 исправляет ошибку Vulkan при поиске значений масштаба UE4M3 в данных NVFP4. Для некоторых байтов масштаба код мог считывать данные за пределами таблицы поиска в общей памяти: в ней было 128 записей, хотя исходный байт мог принимать 256 значений.
Исправление увеличивает таблицу и отведённый под неё объём памяти до 256 записей. Каждый конвейер NVFP4 использует на 512 байт больше общей памяти. В примечаниях к выпуску сказано, что модели, квантованные с помощью llama.cpp, не затронуты: код преобразования не устанавливает бит, который вызывает чтение за пределами таблицы.
Почему это важно
Пользователи, запускающие задачи NVFP4 через Vulkan, получают защиту от чтения за пределами таблицы. По данным примечаний к выпуску, ошибка не затрагивает модели, квантованные с помощью llama.cpp.
