ggml-orgチームは、WebGPUバックエンドでQ2_0に対応したllama.cpp b11809をリリースした。リリースノートによると、今回の変更では行単位の逆量子化と行列乗算の両方に対応している。速度、ハードウェア互換性、メモリ使用量に関する結果は示されておらず、実際の性能への影響は不明だ。
なぜ重要か
WebGPUでllama.cppを使う開発者はQ2_0モデルを試せるが、特定のデバイスでどの程度動作するかはリリースノートからは分からない。
llama.cpp b11809、WebGPUでQ2_0に対応
llama.cppの新バージョンでは、WebGPUバックエンドにQ2_0の行単位の逆量子化と行列乗算が追加された。リリースノートに性能の数値はない。
短信著者： OossaOossa公開日: 1 分で読める
次に読む
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。