Команда ggml-org выпустила llama.cpp b12024. В обновлении для LFM-SC изменили обработку матричного умножения: теперь используется 2D-тензор вместо 3D. На странице релиза доступны сборки для macOS, iOS и нескольких конфигураций Linux, в том числе для CPU и Vulkan.
В примечаниях не указано, ускоряет ли изменение работу LFM-SC и затрагивает ли оно другие модели.
Почему это важно
Пользователи LFM-SC могут попробовать обновлённую версию llama.cpp, однако примечания к релизу не подтверждают, что она быстрее.
