# llama.cpp erhält int8-CUDA-Kernel für Matrixoperationen mit wenigen Zeilen

> Die Open-Source-LLM-Laufzeitumgebung unterstützt nun einen neuen int8-Kernel auf NVIDIA-GPUs der Ampere-Klasse und beschleunigt damit das spekulative Decoding.

Oossa · 2026-11-13 · https://oossa.com/de/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Das Projekt ggml-org/llama.cpp hat Version b12342 mit einem neuen CUDA-int8-MMA-Kernel für Matrixmultiplikations- und Quantisierungsoperationen (MMQ) mit wenigen Zeilen veröffentlicht. Er unterstützt die Quantisierungen Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL und IQ4_XS auf NVIDIA-GPUs ab der Ampere-Generation. Die Änderung soll die Verifizierungsschritte beim spekulativen Decoding beschleunigen. Das Update umfasst außerdem mehrere Korrekturen an Tests und Schutzprüfungen.

## Die Fakten

- Der neue int8-MMA-Kernel unterstützt acht Quantisierungsformate auf NVIDIA-GPUs der Ampere-Klasse.
- Veröffentlichungsdatum: 2026-11-13

## Warum es wichtig ist

Entwickler können die LLM-Inferenz auf kompatiblen GPUs beschleunigen und so die Latenz interaktiver KI-Anwendungen verringern.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Zuletzt aktualisiert: 2026-11-13