Het team van ggml-org heeft llama.cpp b11623 uitgebracht. De release voegt een SIMT-pad voor impliciete GEMM toe voor 2D-convoluties op AMD-gpu's zonder WMMA-ondersteuning. Het pad wordt ook overgeslagen bij korte reducties. De release-informatie bevat geen cijfers over de snelheid en vermeldt niet welke AMD-kaarten er baat bij hebben. Er zijn downloadbare builds beschikbaar voor macOS, iOS en verschillende Linux-platforms.
Waarom het ertoe doet
Voor ontwikkelaars die llama.cpp op AMD-gpu's gebruiken, biedt dit een convolutiepad wanneer WMMA niet beschikbaar is. De release-informatie maakt echter niet duidelijk wat de invloed op de prestaties is en welke hardware wordt ondersteund.
