Das Team von ggml-org hat llama.cpp in Version b12291 veröffentlicht. Das Update bringt eine Vulkan-Optimierung, die den Key-Value-Cache mithilfe der coopmat2-Instruktion dequantisiert. Sie kommt nur zum Einsatz, wenn eine Heuristik auf Grundlage der Query-Token und des GQA-Verhältnisses sie als sicher einstuft. Außerdem wurde die Verarbeitung der Speicher-Ausrichtung für bestimmte Head-Größen korrigiert. Das verbessert die Leistung, wenn die Optimierung nicht verwendet werden kann.
Warum es wichtig ist
Entwickler, die Llama-Modelle auf Vulkan-kompatibler Hardware ausführen, können von einer schnelleren Inferenz profitieren, ohne ihren Code ändern zu müssen.
