Oossa

llama.cpp passa a rodar o modelo Prism Bonsai 2 27B

A biblioteca de código aberto llama.cpp (v b11556) agora executa o modelo Prism Bonsai 2, com 27 bilhões de parâmetros, no macOS e no Linux.

NotaPor Publicado pelo Oossa: 1 min de leitura

A ggml-org lançou a versão b11556 do llama.cpp. A atualização adiciona suporte em tempo de execução ao modelo Prism Bonsai 2 27B. Também corrige o tratamento de tensores Hadamard e aprimora o código de conversão. Há binários pré-compilados para macOS (Apple Silicon e Intel) e Ubuntu (x64, arm64, s390x).

Por que importa

Desenvolvedores agora podem executar localmente, em suas próprias máquinas, o grande modelo Prism Bonsai 2, com 27 bilhões de parâmetros.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.