Oossa

llama.cpp b12530 добавляет поддержку SIMD в WebAssembly

В релизе обновлены ядра WebAssembly и добавлена поддержка форматов q3_K и q6_K. Также доступны сборки для нескольких платформ.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

ggml-org выпустила llama.cpp b12530 с обновлением WebAssembly: исправлены ядра с relaxed SIMD и добавлена поддержка форматов моделей q3_K и q6_K. На странице релиза также доступны загрузки для macOS, iOS и нескольких систем Linux.

В релиз вошли сборки для CPU, в том числе для Ubuntu x64, arm64 и s390x. В примечаниях к выпуску не указано, как изменения в WebAssembly повлияли на скорость.

Почему это важно

Разработчики, собирающие llama.cpp для WebAssembly, смогут использовать поддержку q3_K и q6_K, хотя в примечаниях к выпуску не приводятся данные об изменении производительности.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.