# llama.cpp、少数行演算向けint8 CUDAカーネルを追加

> オープンソースのLLMランタイムが、Ampere世代以降のNVIDIA GPUで新しいint8カーネルに対応。投機的デコーディングを高速化する。

Oossa · 2026-11-13 · https://oossa.com/ja/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

ggml-org/llama.cppプロジェクトは、少数行の行列乗算・量子化（MMQ）処理向けに、新しいCUDA int8 MMAカーネルを搭載したバージョン b12342をリリースした。このカーネルは、Ampere世代以降のNVIDIA GPUで、Q8_0、Q3_K、Q4_K、Q5_K、Q6_K、IQ3_S、IQ4_NL、IQ4_XSの各量子化形式に対応する。投機的デコーディングの検証処理を高速化することを目的とした変更だ。今回の更新には、テストとガード処理に関する複数の修正も含まれる。

## 事実

- 新しいint8 MMAカーネルは、Ampere世代以降のNVIDIA GPUで8種類の量子化形式に対応する。
- リリース日：2026-11-13

## なぜ重要か

対応GPUでLLM推論をより高速に実行でき、対話型AIアプリケーションのレイテンシ低減につながる。

## 出典と参考資料

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

最終更新: 2026-11-13