O projeto ggml‑org/llama.cpp lançou a versão b12342 com um novo kernel CUDA int8 MMA para operações MMQ (multiplicação e quantização de matrizes com poucas linhas). Ele funciona com as quantizações Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL e IQ4_XS em GPUs NVIDIA a partir da geração Ampere. A mudança busca acelerar as etapas de verificação da decodificação especulativa. A atualização também inclui várias correções em testes e verificações de segurança.
Por que importa
Desenvolvedores podem executar inferência de LLMs mais rapidamente em GPUs compatíveis, reduzindo a latência de aplicações de IA interativas.
