Das ggml-org-Team hat llama.cpp in Version b11795 veröffentlicht. Mit dem Update können Sampling-Parameter über das Feld extra_params des Endpunkts /v1/messages unverändert weitergegeben werden. Außerdem gibt es vorkompilierte Binärdateien für macOS (Apple Silicon und Intel), iOS sowie mehrere Ubuntu-Versionen für CPU und Vulkan.
Warum es wichtig ist
Entwickler können Generierungseinstellungen jetzt über die API anpassen, ohne zusätzlichen Code schreiben zu müssen. Das beschleunigt die Integration von llama.cpp in Apps.
