Het team van ggml-org heeft llama.cpp versie b11827 uitgebracht. De update voegt OpenCL-kernels voor depthwise conv2d toe, met ondersteuning voor Qualcomm Adreno-GPU's. Er zijn nu vooraf gebouwde binaries beschikbaar voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-platforms (CPU en Vulkan). De bijdragen zijn geleverd door OpenCode en Li He, ingenieur bij Qualcomm.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp-modellen nu sneller uitvoeren op apparaten met OpenCL-GPU's, waardoor er meer mogelijkheden zijn voor energiezuinige hardware.
