Het team van ggml-org heeft op 13 november 2026 versie b12363 van llama.cpp uitgebracht. De update voegt een optionele instelling voor het actief houden van apparaten toe aan de Vulkan-backend. Daarmee kunnen gebruikers instellen hoelang de GPU actief blijft voordat die wordt uitgeschakeld. De backend beheert voortaan zelf het apparaat, wat de code vereenvoudigt. Er zijn vooraf gebouwde binaries beschikbaar voor macOS, iOS en verschillende Ubuntu-varianten.
Waarom het ertoe doet
Ontwikkelaars kunnen herhaaldelijk modellen op de GPU uitvoeren zonder telkens opnieuw te moeten initialiseren. Dat kan de reactietijd van lokale AI-apps verbeteren.
