Oossa

llama.cpp b11895、Metalのオフセットあふれを修正

ggml-orgのリリースでは、Metalの行列演算でオフセットとトークンインデックスを拡張し、大きな行列出力でのオーバーフローに対処した。

短信著者: Oossa公開日: 1 分で読める

ggml-orgは、大きな行列出力でMetalのオフセットがオーバーフローする問題を修正したllama.cpp b11895をリリースした。この変更では、MUL_MAT_ID演算で使われるバッチオフセットとトークンインデックスも拡張している。

リリースページでは、Apple SiliconおよびIntel搭載Mac、iOS向けのほか、Ubuntu用のCPU版とVulkan版を複数ダウンロードできる。

なぜ重要か

Metalでllama.cppを実行する開発者は、大きな行列出力でのオフセットのオーバーフローを回避できる可能性がある。ただし、リリースノートには問題の発生頻度や、どのワークロードで起きるかは記されていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。