L’équipe ggml-org a publié la version b11795 de llama.cpp. Cette mise à jour permet au serveur de transmettre sans modification les paramètres d’échantillonnage renseignés dans le champ extra_params du point de terminaison /v1/messages. Elle ajoute aussi des binaires précompilés pour macOS (Apple Silicon et Intel), iOS, ainsi que plusieurs versions pour Ubuntu, compatibles avec les processeurs et Vulkan.
Pourquoi c'est important
Les développeurs peuvent désormais personnaliser les paramètres de génération via l’API sans écrire de code supplémentaire, ce qui accélère l’intégration de llama.cpp dans les applications.
