ggml-orgチームはllama.cpp b12050をリリースした。AMD RDNA 3およびRDNA 4のグラフィックスカードで小規模な処理を行う際の動作改善を狙い、Vulkanに変更を加えている。リリースノートにはベンチマーク結果や速度向上の数値は記載されていない。
macOS、iOSのほか、複数のLinux CPUプラットフォーム向けパッケージをダウンロードできる。
なぜ重要か
RDNA 3またはRDNA 4 GPUでllama.cppを使う人は、小規模な処理の扱いが改善する可能性がある。ただし、実際にどの程度性能が変わるかはリリースノートに記載されていない。