ggml-org выпустила llama.cpp версии b11556. В обновлении добавлена поддержка запуска модели Prism Bonsai 2 27B. Также исправлена обработка тензоров Хадамара и упрощён код конвертации. Готовые бинарные файлы доступны для macOS (Apple Silicon и Intel) и Ubuntu (x64, arm64, s390x).
Почему это важно
Разработчики теперь могут запускать крупную модель Prism Bonsai 2 с 27 млрд параметров локально на своих компьютерах.