Команда ggml-org выпустила llama.cpp b11867. В примечаниях к выпуску упоминается переработка точки входа сервера. На странице релиза доступны сборки для macOS, iOS и Linux, в том числе варианты для CPU, Vulkan и CUDA.
В опубликованных примечаниях не уточняется, что изменится для пользователей сервера и повлияет ли переработка на производительность или совместимость.
Почему это важно
Разработчики, выбирающие сборку llama.cpp, могут найти варианты для нескольких платформ и типов оборудования. Однако в опубликованных примечаниях не сказано, меняет ли переработка сервера его настройку или поведение.
