De release van ggml-org’s llama.cpp b11971 voegt een getegelde OpenCL-q4_K-matrixbewerking toe voor Adreno-GPU’s. Ook wordt de uitvoerlaag van het q4_K-taalmodel bij batches groter dan één via die bewerking verwerkt.
De release bevat downloads voor macOS, iOS en verschillende Linux-platforms. De release-opmerkingen bevatten geen prestatiemetingen, dus het is onduidelijk wat de wijziging voor Adreno betekent voor de snelheid of het resourcegebruik.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp op Adreno-hardware gebruiken, kunnen het nieuwe OpenCL-pad uitproberen. De release-opmerkingen zeggen echter niet of inferentie daardoor sneller wordt.
