El equipo de ggml-org publicó la versión b12291 de llama.cpp. Incorpora una optimización basada en Vulkan que desquantiza la caché de claves y valores mediante la instrucción coopmat2. El cambio solo se aplica cuando una heurística basada en los tokens de consulta y la proporción GQA determina que es seguro. La actualización también corrige el manejo de la alineación para algunos tamaños de cabezal, lo que mejora el rendimiento cuando no se puede usar la optimización.
Por qué importa
Los desarrolladores que ejecutan modelos Llama en hardware compatible con Vulkan pueden obtener una inferencia más rápida sin modificar su código.
