# llama.cpp introduce un kernel CUDA int8 per le matrici a poche righe

> Il runtime LLM open source supporta ora un nuovo kernel int8 sulle GPU NVIDIA basate su Ampere, accelerando la decodifica speculativa.

Oossa · 2026-11-13 · https://oossa.com/it/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

Il progetto ggml‑org/llama.cpp ha rilasciato la versione b12342, che introduce un nuovo kernel CUDA int8 MMA per le operazioni MMQ (moltiplicazione di matrici e quantizzazione) con poche righe. È compatibile con le quantizzazioni Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS sulle GPU NVIDIA dalla generazione Ampere in poi. La novità punta ad accelerare le passate di verifica della decodifica speculativa. L’aggiornamento include anche diverse correzioni ai test e alle protezioni.

## I fatti

- Il nuovo kernel int8 MMA supporta otto formati di quantizzazione sulle GPU NVIDIA basate su Ampere.
- Data di rilascio: 2026-11-13

## Perché conta

Gli sviluppatori possono eseguire inferenze LLM più rapidamente sulle GPU compatibili, riducendo la latenza delle applicazioni di IA interattive.

## Fonti e riferimenti

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Ultimo aggiornamento: 2026-11-13