Oossa

llama.cpp получила поддержку модели Prism Bonsai 2 27B

Библиотека llama.cpp с открытым исходным кодом (v b11556) теперь запускает модель Prism Bonsai 2 с 27 млрд параметров на macOS и Linux.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

ggml-org выпустила llama.cpp версии b11556. В обновлении добавлена поддержка запуска модели Prism Bonsai 2 27B. Также исправлена обработка тензоров Хадамара и упрощён код конвертации. Готовые бинарные файлы доступны для macOS (Apple Silicon и Intel) и Ubuntu (x64, arm64, s390x).

Почему это важно

Разработчики теперь могут запускать крупную модель Prism Bonsai 2 с 27 млрд параметров локально на своих компьютерах.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.