ggml-org heeft llama.cpp versie b11503 uitgebracht. De update brengt de ingebouwde cpp-httplib-bibliotheek naar versie 0.60.1. Ook zijn er nieuwe vooraf gecompileerde binaries voor Apple Silicon, Intel-Macs, iOS en diverse Ubuntu-versies (CPU, Vulkan en CUDA). De bestanden zijn te downloaden via de GitHub-releasepagina.
Waarom het ertoe doet
Ontwikkelaars kunnen nu op meer platforms LLM’s bouwen en uitvoeren met een nieuwere HTTP-bibliotheek, waardoor integratie minder gedoe oplevert.