Команда ggml-org выпустила llama.cpp b11849, добавив поддержку операции SGN для Hexagon — архитектуры процессоров Qualcomm. Согласно примечаниям к релизу, изменение включает поддержку вычислений с половинной точностью и оптимизацию, использующую бит знака.
В релизе также представлены сборки для macOS, iOS и Ubuntu, в том числе версии с поддержкой CPU для x64, arm64 и s390x. В примечаниях не указано, на каких устройствах или задачах это даст заметный прирост скорости или производительности.
Почему это важно
Разработчики, использующие llama.cpp на оборудовании с Hexagon, смогут применять новую операцию SGN, однако в примечаниях к релизу не приводятся данные о её влиянии на производительность моделей.
