Het ggml-org-team heeft versie b11795 van llama.cpp uitgebracht. De update past de server aan, zodat samplingparameters ongewijzigd kunnen worden doorgegeven via het veld extra_params van het endpoint /v1/messages. Ook zijn er vooraf gebouwde binaries toegevoegd voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-builds voor CPU en Vulkan.
Waarom het ertoe doet
Ontwikkelaars kunnen nu via de API generatie-instellingen aanpassen zonder extra code, waardoor ze llama.cpp sneller in apps kunnen integreren.
