llama.cpp b12031、IQ3形式のOpenCLに対応

llama.cppの新バージョンでは、Adreno GPU向けカーネルを含むIQ3_SとIQ3_XXSのOpenCL演算が追加された。性能データは公表されていない。

短信著者： OossaOossa公開日: 2026年11月1日 8:12 UTC1 分で読める

ggml-orgチームは、コンパクトなモデル重み形式であるIQ3の初期OpenCL対応を盛り込んだllama.cpp b12031を公開した。今回の更新では、行列演算やベクトル演算など、IQ3_SとIQ3_XXS向けの処理が追加されたほか、Qualcomm GPU向けにAdreno固有の処理経路も用意された。

リリースノートには、デコードの最適化と、Adrenoでより小さいバッチサイズを扱う機能も記載されている。一方、速度の比較データはなく、実際の性能がどう変わるかは明らかにされていない。