Mit llama.cpp b11971 ergänzt ggml-org eine gekachelte OpenCL-q4_K-Matrixoperation für Adreno-GPUs. Außerdem nutzt die Ausgabeschicht des Sprachmodells für q4_K diese Operation jetzt auch bei einer Batchgröße von mehr als eins.
Das Release bietet Downloads für macOS, iOS und mehrere Linux-Plattformen. Die Versionshinweise enthalten keine Leistungsmessungen; daher ist unklar, welche Auswirkungen die Adreno-Änderung auf Geschwindigkeit oder Ressourcenverbrauch hat.
Warum es wichtig ist
Entwickler, die llama.cpp auf Adreno-Hardware nutzen, können den neuen OpenCL-Pfad ausprobieren. Aus den Versionshinweisen geht jedoch nicht hervor, ob dadurch die Inferenz schneller wird.
