ggml-orgs llama.cpp-version b11971 lägger till en tiled OpenCL q4_K-matrisoperation för Adreno-GPU:er. Ändringen gör också att språkmodellens utgångslager för q4_K använder den operationen när batchstorleken är större än ett.
Versionen innehåller nedladdningsbara byggen för macOS, iOS och flera Linux-plattformar. Versionsinformationen anger inga prestandamätningar, så det är oklart hur Adreno-ändringen påverkar hastighet eller resursförbrukning.
Varför det spelar roll
Utvecklare som kör llama.cpp på Adreno-hårdvara kan testa den nya OpenCL-vägen, men versionsinformationen säger inte om den gör inferensen snabbare.
