# llama.cpp incorpora un kernel CUDA int8 para operaciones matriciales

> El runtime de LLM de código abierto ya admite un nuevo kernel int8 en GPU NVIDIA de la generación Ampere en adelante, que acelera la decodificación especulativa.

Oossa · 2026-11-13 · https://oossa.com/es/llama-cpp-adds-int8-cuda-kernel-for-few-row-matrix-ops

El proyecto ggml‑org/llama.cpp publicó la versión b12342, que incorpora un nuevo kernel CUDA int8 MMA para operaciones MMQ (multiplicación de matrices y cuantización) con pocas filas. Es compatible con las cuantizaciones Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS en GPU NVIDIA de la generación Ampere en adelante. El cambio busca acelerar las pasadas de verificación de la decodificación especulativa. La actualización también incluye varias correcciones de pruebas y controles de seguridad.

## Los hechos

- El nuevo kernel int8 MMA admite ocho formatos de cuantización en GPU NVIDIA de la generación Ampere en adelante.
- Fecha de lanzamiento: 2026-11-13

## Por qué importa

Los desarrolladores pueden acelerar la inferencia de LLM en GPU compatibles y reducir la latencia de las aplicaciones de IA interactivas.

## Fuentes y referencias

1. [ggml-org/llama.cpp b12342](https://github.com/ggml-org/llama.cpp/releases/tag/b12342) – llama.cpp, 2026-11-13

Última actualización: 2026-11-13