ggml-org ha rilasciato la versione b11556 di llama.cpp. L’aggiornamento aggiunge il supporto in fase di esecuzione per il modello Prism Bonsai 2 27B. Risolve inoltre i problemi di gestione dei tensori Hadamard e semplifica il codice di conversione. Sono disponibili binari precompilati per macOS (Apple Silicon e Intel) e Ubuntu (x64, arm64, s390x).
Perché conta
Gli sviluppatori possono ora eseguire localmente sui propri computer il grande modello Prism Bonsai 2 da 27 miliardi di parametri.