ggml-orgチームはllama.cpp b12171をリリースした。Vulkanに関する変更として、システムがReBAR(Resizable BAR)に対応しているかを検出し、非対応の場合はBARへのメモリ割り当てを回避する。リリースページにはmacOS、iOS、Linux向けのダウンロード可能なビルドが掲載されており、一部のプラットフォームではCPU版とVulkan版が用意されている。
この変更によって、どのハードウェアやワークロードで実際に違いが生じるかは、リリースノートに記載されていない。
なぜ重要か
ReBARに対応していないシステムでVulkanを使ってllama.cppを実行する場合、この変更によりBARへの割り当てを回避できる。ただし、性能やメモリ使用量への影響はリリースノートで数値化されていない。