ggml-orgは、llama.cppのバージョンb11556をリリースしました。このアップデートでは、Prism Bonsai 2 27Bモデルの実行に対応したほか、Hadamardテンソルの処理を修正し、変換コードを整理しています。macOS(Apple Silicon、Intel)およびUbuntu(x64、arm64、s390x)向けのビルド済みバイナリーも提供されています。
なぜ重要か
開発者は、270億パラメーターの大規模モデルPrism Bonsai 2を自分のマシン上で実行できるようになります。