ggml-org-teamet har publicerat llama.cpp version b11640. Uppdateringen ändrar Vulkan-backenden så att den använder en L2-cacheanpassad schemaläggning av workgroups för matrisberäkningar. Den innehåller också nya förkompilerade binärer för Apple Silicon, Intel-Macar, iOS och flera Ubuntu-versioner (CPU, Vulkan och CUDA 12.8). Paketen kan laddas ner från GitHubs releasesida.
Varför det spelar roll
Ändringen kan göra att LLaMA-modeller körs snabbare på GPU:er med stöd för Vulkan, vilket kan hjälpa utvecklare på Linux- och Android-enheter.
