llama.cpp、少数行演算向けint8 CUDAカーネルを追加

オープンソースのLLMランタイムが、Ampere世代以降のNVIDIA GPUで新しいint8カーネルに対応。投機的デコーディングを高速化する。

短信著者： OossaOossa公開日: 2026年11月13日 4:38 UTC1 分で読める

ggml-org/llama.cppプロジェクトは、少数行の行列乗算・量子化（MMQ）処理向けに、新しいCUDA int8 MMAカーネルを搭載したバージョン b12342をリリースした。このカーネルは、Ampere世代以降のNVIDIA GPUで、Q8_0、Q3_K、Q4_K、Q5_K、Q6_K、IQ3_S、IQ4_NL、IQ4_XSの各量子化形式に対応する。投機的デコーディングの検証処理を高速化することを目的とした変更だ。今回の更新には、テストとガード処理に関する複数の修正も含まれる。