Oossa

llama.cpp supporta il modello Prism Bonsai 2 27B

La libreria open source llama.cpp (v b11556) ora esegue il modello Prism Bonsai 2 da 27 miliardi di parametri su macOS e Linux.

BreveDi Pubblicato da Oossa: 1 min di lettura

ggml-org ha rilasciato la versione b11556 di llama.cpp. L’aggiornamento aggiunge il supporto in fase di esecuzione per il modello Prism Bonsai 2 27B. Risolve inoltre i problemi di gestione dei tensori Hadamard e semplifica il codice di conversione. Sono disponibili binari precompilati per macOS (Apple Silicon e Intel) e Ubuntu (x64, arm64, s390x).

Perché conta

Gli sviluppatori possono ora eseguire localmente sui propri computer il grande modello Prism Bonsai 2 da 27 miliardi di parametri.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.