Das Team von ggml-org hat llama.cpp Version b12363 am 13. November 2026 veröffentlicht. Das Update ergänzt im Vulkan-Backend eine optionale Keepalive-Einstellung: Nutzer können festlegen, wie lange die GPU aktiv bleibt, bevor sie heruntergefahren wird. Die Änderung überträgt die Zuständigkeit für das Gerät an das Backend und vereinfacht den Code. Enthalten sind vorgefertigte Binärdateien für macOS, iOS und mehrere Ubuntu-Varianten.
Warum es wichtig ist
Entwickler können wiederholt Modelle auf der GPU ausführen, ohne sie jedes Mal aufwendig neu zu initialisieren. Das verbessert die Antwortgeschwindigkeit lokaler KI-Anwendungen.
