Oossa

llama.cpp b12050、AMDの新世代GPU向けにVulkanを調整

AMDのRDNA 3とRDNA 4 GPUで小規模な処理を実行する際のVulkanのsplit-K選択を変更した。複数のプラットフォーム向けビルドもダウンロードできる。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームはllama.cpp b12050をリリースした。AMD RDNA 3およびRDNA 4のグラフィックスカードで小規模な処理を行う際の動作改善を狙い、Vulkanに変更を加えている。リリースノートにはベンチマーク結果や速度向上の数値は記載されていない。

macOS、iOSのほか、複数のLinux CPUプラットフォーム向けパッケージをダウンロードできる。

なぜ重要か

RDNA 3またはRDNA 4 GPUでllama.cppを使う人は、小規模な処理の扱いが改善する可能性がある。ただし、実際にどの程度性能が変わるかはリリースノートに記載されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。