A equipe ggml-org lançou a versão b11795 do llama.cpp. A atualização altera o servidor para que os parâmetros de amostragem sejam repassados sem alterações no campo extra_params do endpoint /v1/messages. Também inclui binários pré-compilados para macOS (Apple Silicon e Intel), iOS e várias versões do Ubuntu para CPU e Vulkan.
Por que importa
Agora, os desenvolvedores podem personalizar as configurações de geração pela API sem precisar escrever código adicional, agilizando a integração do llama.cpp em aplicativos.
