A ggml-org lançou a versão b11556 do llama.cpp. A atualização adiciona suporte em tempo de execução ao modelo Prism Bonsai 2 27B. Também corrige o tratamento de tensores Hadamard e aprimora o código de conversão. Há binários pré-compilados para macOS (Apple Silicon e Intel) e Ubuntu (x64, arm64, s390x).
Por que importa
Desenvolvedores agora podem executar localmente, em suas próprias máquinas, o grande modelo Prism Bonsai 2, com 27 bilhões de parâmetros.