Команда ggml-org выпустила llama.cpp b12171. В версии изменена работа с Vulkan: программа проверяет, поддерживает ли система ReBAR (Resizable BAR), и не выделяет BAR-память, если такой поддержки нет. На странице релиза представлены сборки для macOS, iOS и Linux, в том числе для некоторых платформ — версии с поддержкой CPU и Vulkan.
В примечаниях к релизу не уточняется, на каком оборудовании и при каких нагрузках изменения дадут заметный эффект.
Почему это важно
Тем, кто запускает llama.cpp с Vulkan на системах без поддержки ReBAR, изменение позволит избежать выделения BAR-памяти. В примечаниях к релизу не приводятся оценки влияния на производительность или использование памяти.
