El proyecto ggml‑org/llama.cpp publicó la versión b12342, que incorpora un nuevo kernel CUDA int8 MMA para operaciones MMQ (multiplicación de matrices y cuantización) con pocas filas. Es compatible con las cuantizaciones Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS en GPU NVIDIA de la generación Ampere en adelante. El cambio busca acelerar las pasadas de verificación de la decodificación especulativa. La actualización también incluye varias correcciones de pruebas y controles de seguridad.
Por qué importa
Los desarrolladores pueden acelerar la inferencia de LLM en GPU compatibles y reducir la latencia de las aplicaciones de IA interactivas.
