Команда ggml-org выпустила llama.cpp версии b12124. В ней появилась поддержка операций сигмоиды с несмежными данными в OpenCL. OpenCL — это платформа для выполнения вычислительных задач на разных процессорах.
На странице релиза также представлены готовые сборки для macOS, iOS и Ubuntu, в том числе варианты для CPU и Vulkan. О других изменениях производительности не сообщается, как и о том, кто именно заметит разницу.
Почему это важно
Разработчики, использующие llama.cpp с OpenCL, смогут применять новую поддерживаемую операцию. Однако в примечаниях к релизу не говорится, повлияет ли она на скорость или будет ли заметна обычным пользователям.
