Oossa

llama.cpp更新でIntel CPUのFP16→FP32変換が高速化

2026年10月15日リリースのb11635では、x86向けのFP16→FP32変換テーブルを維持し、量子化カーネルの速度低下を解消します。

短信著者: Oossa公開日: 1 分で読める

オープンソースのllama.cppライブラリが、2026-10-15にバージョンb11635をリリースしました。F16C命令セットに対応するx86プロセッサで、FP16からFP32への変換テーブルを保持するようCPUコードを変更しています。直前の変更では、スカラー変換の両方をF16C経由にした結果、Q8_0/Q4_0の行列乗算カーネルが45~65%遅くなっていました。今回の修正では、問題のあるdefineをコメントアウトし、FP16→FP32変換に従来のテーブルを復元しています。

なぜ重要か

Intel CPUでllama.cppを使う開発者は、アップデート後にモデル推論が目に見えて高速になります。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。