ggml-org-teamet har släppt llama.cpp b12050, med en Vulkan-ändring som ska förbättra hur programmet hanterar små arbetslaster på AMD:s RDNA 3- och RDNA 4-grafikkort. I versionsinformationen finns inga benchmarkresultat eller uppgifter om hur stor prestandaökningen är.
Nedladdningsbara versioner finns för macOS, iOS och flera Linux-plattformar med CPU-stöd.
Varför det spelar roll
Den som kör llama.cpp på ett RDNA 3- eller RDNA 4-grafikkort kan få bättre hantering av små arbetslaster, men versionsinformationen anger inte hur mycket prestandan förändras i praktiken.
