# llama.cpp为少行矩阵运算新增int8 CUDA内核

> 这款开源大模型运行时现已支持适用于Ampere及更新架构NVIDIA GPU的int8内核，可加速推测解码。

Oossa · 2026-11-13 · https://oossa.com/zh/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

ggml‑org/llama.cpp项目发布了b12342版本，新增用于少行矩阵乘法量化（MMQ）运算的CUDA int8 MMA内核。该内核支持NVIDIA Ampere及更新架构的GPU，以及Q8_0、Q3_K、Q4_K、Q5_K、Q6_K、IQ3_S、IQ4_NL和IQ4_XS这八种量化格式。此项改动旨在加快推测解码的验证过程。此次更新还修复了若干测试和防护逻辑问题。

## 事实

- 新增的int8 MMA内核支持Ampere及更新架构的NVIDIA GPU上的八种量化格式。
- 发布日期：2026-11-13

## 为什么重要

开发者可在兼容GPU上更快地运行大模型推理，降低交互式AI应用的延迟。

## 来源与参考

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

最后更新: 2026-11-13