La release b11971 di ggml-org per llama.cpp introduce un’operazione matriciale OpenCL q4_K tiled per le GPU Adreno. La modifica instrada inoltre lo strato di output del modello linguistico q4_K attraverso questa operazione quando la dimensione del batch è superiore a uno.
La release include build scaricabili per macOS, iOS e diverse piattaforme Linux. Le note di rilascio non riportano misurazioni delle prestazioni, quindi non è chiaro quale sia l’impatto della modifica per Adreno sulla velocità o sull’uso delle risorse.
Perché conta
Gli sviluppatori che usano llama.cpp su hardware Adreno possono provare il nuovo percorso OpenCL, ma le note di rilascio non specificano se renda più veloce l’inferenza.
