Oossa

llama.cpp、VulkanのNVFP4スケール参照バグを修正

リリースb12073では共有ルックアップテーブルを拡張し、特定のスケール値で範囲外を読み取る問題を防止。各パイプラインで共有メモリを512 bytes多く使用する。

短信著者: Oossa公開日: 1 分で読める

llama.cppのリリースb12073では、VulkanでNVFP4データからUE4M3のスケール値を参照する際のバグが修正された。特定のスケール値では、共有メモリ上のルックアップテーブルの範囲外を読み取る可能性があった。テーブルは128件だった一方、元のバイト値は256通りを表せるためだ。

修正ではテーブルとメモリ割り当てを256件分に拡張した。各NVFP4パイプラインで共有メモリを512 bytes多く使用する。リリースノートによると、llama.cppで量子化されたモデルには影響しない。変換コードが、範囲外参照を引き起こすビットを設定しないためだ。

なぜ重要か

VulkanでNVFP4の処理を実行する場合、範囲外参照が起きないよう保護される。一方、リリースノートによると、llama.cppで量子化されたモデルはこのバグの影響を受けない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。