ggml-org-teamet har släppt llama.cpp b12171 med en ändring i Vulkan: programmet upptäcker om systemet stöder ReBAR, eller Resizable BAR, och undviker BAR-allokeringar när stöd saknas. På versionssidan finns nedladdningsbara versioner för macOS, iOS och Linux, bland annat CPU- och Vulkan-versioner för vissa plattformar.
I versionsinformationen framgår inte vilken hårdvara eller vilka arbetsbelastningar som kommer att märka någon praktisk skillnad.
Varför det spelar roll
För den som kör llama.cpp med Vulkan på ett system utan stöd för ReBAR är ändringen tänkt att undvika BAR-allokeringar. Versionsinformationen anger inte hur den påverkar prestanda eller minnesanvändning.
