Вышла версия llama.cpp b12122 с оптимизацией CUDA: она объединяет матричные умножения gate/up для NVFP4 с операцией GLU в MMQ — пути проекта для матричных умножений. NVFP4 — компактный формат чисел, используемый в некоторых вычислениях ИИ. Объединение этапов может сократить число отдельных операций, однако в примечаниях к релизу нет данных о производительности.
В релиз также вошли сборки для скачивания: macOS, iOS и Ubuntu для x64, Arm64 и s390x.
Почему это важно
Пользователи, запускающие на CUDA поддерживаемые задачи с NVFP4, смогут воспользоваться объединённым путём вычислений. Однако в примечаниях к релизу не указано, насколько это ускорит работу или сократит расход памяти.
