Команда ggml-org выпустила llama.cpp версии b11806. В ней появилась поддержка свёрнутых весов prism.hadamard для LoRA — метода, позволяющего эффективнее дообучать модели. В релиз также вошли готовые сборки для устройств Apple Silicon, компьютеров Mac с процессорами Intel, iOS и нескольких конфигураций Linux, включая варианты для CPU, Vulkan и CUDA. Подходящий пакет можно скачать со страницы релиза на GitHub.
Почему это важно
Теперь разработчики могут быстрее запускать дообученные с помощью LoRA модели на большем числе платформ и не собирать код самостоятельно.
