Oossa

llama.cpp b11782 behebt Fehler bei der Token-Zählung

Der Open-Source-LLM-Runner aktualisiert seinen Servercode, damit bei mehreren Ausgaben die Completion-Tokens korrekt gezählt werden. Außerdem gibt es neue Binärdateien für macOS, iOS und Linux.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

ggml‑org hat am 21. Okt. 2026 llama.cpp in Version b11782 veröffentlicht. Das Update behebt einen Serverfehler, durch den usage.completion_tokens bei n > 1 zu niedrig gezählt wurden. Bei der Generierung mehrerer Ausgaben fielen die Token-Nutzungsstatistiken dadurch zu niedrig aus. Die Veröffentlichung umfasst außerdem neue vorkompilierte Binärdateien für Apple Silicon, Intel-Macs, iOS und mehrere Ubuntu-Versionen (CPU, Vulkan, CUDA).

Warum es wichtig ist

Entwickler erhalten genaue Angaben zum Token-Verbrauch und können so Kosten und Leistung überwachen, wenn sie mehrere Vervollständigungen ausführen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.