# llama.cpp ganha kernel CUDA int8 para operações matriciais

> O runtime de LLMs de código aberto agora oferece suporte a um novo kernel int8 em GPUs NVIDIA da classe Ampere, acelerando a decodificação especulativa.

Oossa · 2026-11-13 · https://oossa.com/pt/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

O projeto ggml‑org/llama.cpp lançou a versão b12342 com um novo kernel CUDA int8 MMA para operações MMQ (multiplicação e quantização de matrizes com poucas linhas). Ele funciona com as quantizações Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS em GPUs NVIDIA a partir da geração Ampere. A mudança busca acelerar as etapas de verificação da decodificação especulativa. A atualização também inclui várias correções em testes e verificações de segurança.

## Os fatos

- O novo kernel int8 MMA oferece suporte a oito formatos de quantização em GPUs NVIDIA da classe Ampere.
- Data de lançamento: 2026-11-13

## Por que importa

Desenvolvedores podem executar inferência de LLMs mais rapidamente em GPUs compatíveis, reduzindo a latência de aplicações de IA interativas.

## Fontes e referências

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Última atualização: 2026-11-13