Команда ggml-org выпустила llama.cpp b11345, добавив поддержку типов квантования q2_k и q3_k для Hexagon. Квантование позволяет хранить данные модели, используя меньше битов. В примечаниях к выпуску не уточняется, каким устройствам или моделям это даст преимущества, и не описаны изменения производительности.
В выпуск также вошли сборки для macOS, iOS и нескольких конфигураций Linux, в том числе для CPU и Vulkan.
Почему это важно
Пользователи, запускающие llama.cpp на совместимом оборудовании Hexagon, смогут использовать модели с квантованием q2_k или q3_k, однако в примечаниях к выпуску не указаны совместимые устройства и влияние на производительность.
