Oossa

llama.cpp b12171、Vulkanのメモリ割り当てを調整

ReBAR対応を検出し、非対応の場合はBARへの割り当てを回避する。複数のOSやハードウェア向けビルドが公開されている。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームはllama.cpp b12171をリリースした。Vulkanに関する変更として、システムがReBAR(Resizable BAR)に対応しているかを検出し、非対応の場合はBARへのメモリ割り当てを回避する。リリースページにはmacOS、iOS、Linux向けのダウンロード可能なビルドが掲載されており、一部のプラットフォームではCPU版とVulkan版が用意されている。

この変更によって、どのハードウェアやワークロードで実際に違いが生じるかは、リリースノートに記載されていない。

なぜ重要か

ReBARに対応していないシステムでVulkanを使ってllama.cppを実行する場合、この変更によりBARへの割り当てを回避できる。ただし、性能やメモリ使用量への影響はリリースノートで数値化されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。