Oossa

llama.cpp b12102、ストライド付きテンソルビューの検証を修正

llama.cppがテンソルビューの使用メモリを確認する方法を変更。従来のサイズチェックで安全なビューが拒否されたり、参照元の範囲外を読み取るビューが見逃されたりする問題に対処しました。

短信著者: Oossa公開日: 1 分で読める

ggml-orgチームは、ストライド付きテンソルビューのメモリ範囲を確認する方法を変更したllama.cpp b12102をリリースしました。従来のチェックでは、行が重なっていても参照元の範囲内に収まるビューが拒否される一方、ストライドが広く参照元の範囲を超えるビューが許可されることがありました。

今回の更新では、ビュー関数からストライドをテンソルのコンストラクターに渡し、ビューが実際にアクセスするバイト数をチェックするようになりました。また、ストライド付きビューの開始位置が、最初の次元で連続する要素であることをアサートします。ビルドパッケージは、macOS、Linux、Android、Windowsなど向けに公開されています。

なぜ重要か

llama.cppを使う開発者にとって、検証方法の見直しにより、範囲外のテンソルビューがチェックをすり抜けるのを防げる可能性があります。リリースノートでは、モデルの性能への影響は数値化されていません。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。