# llama.cpp voegt int8-kernel toe voor matrixbewerkingen

> De opensource LLM-runtime ondersteunt nu een nieuwe int8-kernel op NVIDIA-GPU’s vanaf de Ampere-generatie, voor snellere speculative decoding.

Oossa · 2026-11-13 · https://oossa.com/nl/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Het project ggml-org/llama.cpp heeft versie b12342 uitgebracht met een nieuwe CUDA int8 MMA-kernel voor matrixvermenigvuldigings- en kwantisatiebewerkingen met weinig rijen (MMQ). De kernel werkt met de kwantisaties Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL en IQ4_XS op NVIDIA-GPU’s vanaf de Ampere-generatie. De wijziging is bedoeld om verificatiepasses bij speculative decoding te versnellen. De update bevat ook verschillende aanpassingen aan tests en beveiligingscontroles.

## De feiten

- De nieuwe int8 MMA-kernel ondersteunt acht kwantisatieformaten op NVIDIA-GPU’s vanaf de Ampere-generatie.
- Releasedatum: 2026-11-13

## Waarom het ertoe doet

Ontwikkelaars kunnen LLM-inferentie sneller uitvoeren op compatibele GPU’s, waardoor interactieve AI-toepassingen minder vertraging hebben.

## Bronnen en referenties

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Laatst bijgewerkt: 2026-11-13