Het team van ggml-org heeft versie b12291 van llama.cpp uitgebracht. Deze voegt een op Vulkan gebaseerde optimalisatie toe die de key-value-cache dequantiseert met de coopmat2-instructie. De wijziging wordt alleen toegepast als een heuristiek op basis van querytokens en de GQA-verhouding dit veilig acht. De update verbetert ook de verwerking van uitlijning bij bepaalde kopgroottes, wat de prestaties ten goede komt wanneer de optimalisatie niet kan worden gebruikt.
Waarom het ertoe doet
Ontwikkelaars die Llama-modellen draaien op hardware die compatibel is met Vulkan, kunnen sneller inferentie uitvoeren zonder hun code aan te passen.
