# llama.cpp får ny int8-kärna för matrisoperationer

> Den öppna LLM-miljön stöder nu en ny int8-kärna på NVIDIA-GPU:er i Ampere-klassen, vilket snabbar upp spekulativ avkodning.

Oossa · 2026-11-13 · https://oossa.com/sv/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Projektet ggml-org/llama.cpp har släppt version b12342 med en ny CUDA int8 MMA-kärna för matrisoperationer med få rader och kvantisering (MMQ). Den stöder kvantiseringarna Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL och IQ4_XS på NVIDIA-GPU:er från och med Ampere-generationen. Ändringen ska snabba upp verifieringspass vid spekulativ avkodning. Uppdateringen innehåller också flera korrigeringar av tester och skyddsmekanismer.

## Fakta

- Den nya int8 MMA-kärnan stöder åtta kvantiseringsformat på NVIDIA-GPU:er i Ampere-klassen.
- Releasedatum: 2026-11-13

## Varför det spelar roll

Utvecklare kan köra LLM-inferens snabbare på kompatibla GPU:er, vilket minskar fördröjningen i interaktiva AI-applikationer.

## Källor och referenser

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Senast uppdaterad: 2026-11-13