ggml-org a publié la version b11556 de llama.cpp. Cette mise à jour ajoute la prise en charge à l’exécution du modèle Prism Bonsai 2 27B. Elle corrige également la gestion des tenseurs Hadamard et simplifie le code de conversion. Des binaires précompilés sont disponibles pour macOS (Apple Silicon et Intel) et Ubuntu (x64, arm64, s390x).
Pourquoi c'est important
Les développeurs peuvent désormais exécuter localement sur leur propre machine le grand modèle Prism Bonsai 2, qui compte 27 milliards de paramètres.
