Teamet bakom ggml-org har släppt llama.cpp b11623, som lägger till en SIMT-baserad implicit GEMM-väg för 2D-konvolutioner på AMD-GPU:er utan stöd för WMMA. Ändringen hoppar också över den här vägen vid korta reduktioner. I versionsinformationen anges varken hur mycket snabbare den är eller vilka AMD-kort som har nytta av den. Nedladdningsbara versioner finns för macOS, iOS och flera Linux-plattformar.
Varför det spelar roll
För utvecklare som kör llama.cpp på AMD-GPU:er innebär detta att det finns en konvolutionsväg när WMMA inte är tillgängligt. Men versionsinformationen klargör inte prestandapåverkan eller vilken hårdvara som stöds.
