llama.cpp、SYCLでIQ3推論を高速化する重みの並べ替えを追加

オープンソースのllama.cppライブラリが、読み込み時にIQ3_SとIQ3_XXSの重みを並べ替える機能を追加。Intel Arc GPUでのトークン処理速度が向上する。

短信著者： OossaOossa公開日: 2026年10月15日 5:08 UTC1 分で読める

llama.cppプロジェクトは2026-10-15、バージョンb11636をリリースした。SYCL環境でIQ3_SとIQ3_XXSの量子化を実行する際に、重みの配置を保持する機能が加わった。モデルの読み込み時に重みを一度並べ替えることで、GPUはビットを集める処理ではなく、まとまったブロックを処理できるようになり、デコードとプリフィルが高速化する。Intel Arc Pro B70 GPUでは、Qwen3.8‑27Bモデルの短いプロンプトに対するトークン処理速度が毎秒12.92トークンから23.54トークンに上がり、82％向上した。