Das ggml-org-Team hat llama.cpp in Version b11640 veröffentlicht. Das Update stellt das Vulkan-Backend bei der Matrixmultiplikation auf eine L2-freundliche Workgroup-Planung um. Außerdem gibt es neue vorgefertigte Binärpakete für Apple Silicon, Intel-Macs, iOS und verschiedene Ubuntu-Varianten (CPU, Vulkan und CUDA 12.8). Die Pakete stehen auf der GitHub-Release-Seite zum Download bereit.
Warum es wichtig ist
Die Änderung kann LLaMA-Modelle auf GPUs mit Vulkan-Unterstützung beschleunigen und so Entwickler auf Linux- und Android-Geräten unterstützen.
