Het team van ggml-org heeft llama.cpp versie b11769 uitgebracht. De update verhelpt een bug waardoor de serverrouter signalen over verbroken clientverbindingen niet volledig doorgaf aan onderliggende processen. Daardoor konden verzoeken vertraagd worden geannuleerd. Ook is een test verwijderd die gevoelig was voor timing. Er zijn nu nieuwe kant-en-klare binaries beschikbaar voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-varianten.
Waarom het ertoe doet
Ontwikkelaars kunnen llama.cpp lokaal gebruiken en verzoeken betrouwbaarder annuleren, waardoor minder rekenkracht verloren gaat aan onderbroken taken.
