Das Team von ggml-org hat am 5. Okt. 2026 llama.cpp in Version b11413 veröffentlicht. Das Update ergänzt eine Vulkan-Implementierung von Sparse Flash Attention, die mit quantisierten Key- und Value-Tensoren funktioniert. Die Neuerung wird als „Sparse Flash Attention for quantized K/V“ beschrieben und ist auf GPU-beschleunigte Inferenz ausgelegt. Die Veröffentlichung umfasst außerdem zahlreiche Builds für verschiedene Plattformen – von macOS mit Apple Silicon bis hin zu Windows mit CUDA und Vulkan.
Warum es wichtig ist
Entwickler können quantisierte Modelle jetzt auf Vulkan-fähigen GPUs schneller ausführen und so die Rechenkosten auf Edge-Geräten senken.
