Projektet llama.cpp har publicerat förhandsversionen b12173, som lägger till OpenCL-stöd för repeat-operationer med datatyperna f16, i32, i16 och bf16. OpenCL gör det möjligt att köra beräkningar på processorer och grafikmaskinvara som stöds.
På releasesidan listas byggversioner för bland annat Linux, Windows, macOS, iOS och Android, med flera alternativ för maskinvara och acceleratorer. Det framgår inte vilka enheter eller arbetsbelastningar som har störst nytta av ändringen.
Varför det spelar roll
Utvecklare som använder llama.cpp med OpenCL kan kanske köra repeat-operationer med de här fyra datatyperna, men versionsinformationen anger inte vilka enheter som i praktiken får stöd.
