ggml‑orgチームがllama.cppバージョンb12329を公開しました。重みスケールの処理を行列乗算の書き込みに統合するCUDA最適化が追加され、nvfp4チェックポイントの処理が高速化します。また、Apple Silicon、Intel搭載Mac、iOS、複数のLinuxディストリビューション向けに、新たなビルド済みバイナリも含まれています。これらの変更はGitHubのリリースページからダウンロードできます。
なぜ重要か
開発者はNVIDIA GPUでLlamaモデルをより高速に実行でき、より多くのプラットフォーム向けのすぐに使えるバイナリを利用できます。