ggml-org выпустила llama.cpp b12530 с обновлением WebAssembly: исправлены ядра с relaxed SIMD и добавлена поддержка форматов моделей q3_K и q6_K. На странице релиза также доступны загрузки для macOS, iOS и нескольких систем Linux.
В релиз вошли сборки для CPU, в том числе для Ubuntu x64, arm64 и s390x. В примечаниях к выпуску не указано, как изменения в WebAssembly повлияли на скорость.
Почему это важно
Разработчики, собирающие llama.cpp для WebAssembly, смогут использовать поддержку q3_K и q6_K, хотя в примечаниях к выпуску не приводятся данные об изменении производительности.