ggml-orgは、大きな行列出力でMetalのオフセットがオーバーフローする問題を修正したllama.cpp b11895をリリースした。この変更では、MUL_MAT_ID演算で使われるバッチオフセットとトークンインデックスも拡張している。
リリースページでは、Apple SiliconおよびIntel搭載Mac、iOS向けのほか、Ubuntu用のCPU版とVulkan版を複数ダウンロードできる。
なぜ重要か
Metalでllama.cppを実行する開発者は、大きな行列出力でのオフセットのオーバーフローを回避できる可能性がある。ただし、リリースノートには問題の発生頻度や、どのワークロードで起きるかは記されていない。