Команда ggml-org выпустила llama.cpp версии b11747. В релиз вошли готовые бинарные сборки для macOS на Apple Silicon, macOS на Intel, iOS и нескольких вариантов Ubuntu — для CPU, Vulkan и CUDA 12.8. Также в примечаниях к релизу упоминается патч для изменения размера изображений в Qwen-VL в соответствии с Transformers. Подходящий пакет можно скачать со страницы релиза на GitHub.
Почему это важно
Разработчики могут запускать модели LLaMA локально на большем числе устройств, не собирая программу из исходного кода.
