Oossa

llama.cpp b11795 vidarebefordrar parametrar via servern

Open source-biblioteket llama.cpp vidarebefordrar nu extra parametrar för sampling via sitt /v1/messages-API och erbjuder nya binärfiler för macOS, Linux och iOS.

NotisAv Publicerad av Oossa: 1 min läsning

Teamet ggml-org har släppt llama.cpp version b11795. Uppdateringen ändrar servern så att parametrar för sampling kan skickas oförändrade i fältet extra_params i endpointen /v1/messages. Den lägger också till färdigbyggda binärfiler för macOS (Apple Silicon och Intel), iOS samt flera Ubuntu-versioner för CPU och Vulkan.

Varför det spelar roll

Utvecklare kan nu anpassa inställningarna för generering via API:et utan extra kod, vilket snabbar upp integreringen av llama.cpp i appar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.