Oossa

llama.cpp、delta-netのインデックス計算をホスト側に移行

リリースb12074ではdelta-netの畳み込み状態の扱いを変更。デバイス側で計算する代わりに、ホスト側からロールバックスロットのインデックスを渡す。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは、delta-netの畳み込み状態に変更を加えたllama.cppのバージョンb12074をリリースした。ロールバックスロットのインデックスを、デバイス側でarangeとargsortの演算を使って生成するのではなく、ホスト側で設定したI32入力として渡すようになった。

リリースノートによると、このインデックスはグラフの形状ごとに一定で、この変更により、メタデータバックエンドでarange用の分割を再現する必要がなくなる。速度やメモリ使用量がどの程度改善したかを示す測定結果は報告されていない。

なぜ重要か

delta-netを使うllama.cppのモデルを実行している場合、内部の計算方法が変わる可能性がある。ただし、実際に性能が向上するかどうかはリリースノートからは分からない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。