A equipe ggml-org lançou a versão b12291 do llama.cpp. A atualização inclui uma otimização baseada em Vulkan que desquantiza o cache de chave e valor usando a instrução coopmat2. A alteração só é aplicada quando uma heurística, baseada no número de tokens de consulta e na proporção GQA, considera que ela é segura. A atualização também corrige o tratamento do alinhamento em alguns tamanhos de cabeçalho, melhorando o desempenho quando a otimização não pode ser usada.
Por que importa
Desenvolvedores que executam modelos Llama em hardware compatível com Vulkan podem obter inferência mais rápida sem alterar o código.
