Teamet ggml-org har släppt llama.cpp version b11795. Uppdateringen ändrar servern så att parametrar för sampling kan skickas oförändrade i fältet extra_params i endpointen /v1/messages. Den lägger också till färdigbyggda binärfiler för macOS (Apple Silicon och Intel), iOS samt flera Ubuntu-versioner för CPU och Vulkan.
Varför det spelar roll
Utvecklare kan nu anpassa inställningarna för generering via API:et utan extra kod, vilket snabbar upp integreringen av llama.cpp i appar.