Teamet bakom ggml-org har släppt llama.cpp version b12291. Uppdateringen innehåller en Vulkan-baserad optimering som dekvantiserar nyckel-värde-cachen med hjälp av instruktionen coopmat2. Ändringen används bara när en tumregel baserad på antalet frågetoken och GQA-förhållandet bedömer att det är säkert. Uppdateringen rättar också hanteringen av minnesjustering för vissa huvudstorlekar, vilket förbättrar prestandan när optimeringen inte kan användas.
Varför det spelar roll
Utvecklare som kör Llama-modeller på Vulkan-kompatibel hårdvara kan få snabbare inferens utan att ändra sin kod.
