Oossa

llama.cpp b12419: Server ignoriert leere Stop-Strings

Das Release weist den llama.cpp-Server an, leere Stop-Strings zu ignorieren. Außerdem gibt es Downloads für mehrere Betriebssysteme und Prozessortypen.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml-org-Team hat llama.cpp b12419 mit einer Änderung am Server veröffentlicht: Er ignoriert jetzt leere Stop-Strings. Stop-Strings sind Textfolgen, die einem Modell vorgeben, wann es eine Antwort beenden soll.

Auf der Release-Seite sind Builds für macOS, iOS und Linux aufgeführt, darunter CPU- und Vulkan-Versionen für einige Linux-Systeme.

Warum es wichtig ist

Wer den llama.cpp-Server betreibt, kann leere Stop-Strings angeben, ohne dass der Server sie als Stop-Sequenzen behandelt. Die Release Notes erläutern keine weiteren Verhaltensänderungen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.