Oossa

llama.cpp bietet optionale NFC-Normalisierung für Tokenizer

Die Open-Source-Bibliothek zur LLaMA-Inferenz ermöglicht jetzt die Unicode-NFC-Normalisierung für Unigram-Tokenizer.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Das ggml‑org-Team hat am 14 Oct 2026 Version b11612 von llama.cpp veröffentlicht. Das Update ergänzt für Unigram-Tokenizer einen optionalen NFC-Schritt (Normalization Form C), der die Verarbeitung von Unicode-Text verbessern kann. Die Änderung entstand mit Unterstützung von Codex und umfasst außerdem kleinere Bereinigungen an Testdateien und Linter-Warnungen. Die Veröffentlichung listet auch Builds für zahlreiche Plattformen auf – von macOS mit Apple Silicon bis hin zu Windows mit CUDA 13.

Warum es wichtig ist

Entwickler, die LLaMA-Modelle einsetzen, können jetzt eine einheitlichere Tokenisierung von Zeichen mit Akzenten oder zusammengesetzten Zeichen erreichen. Das kann unerwartete Ausgaben in mehrsprachigen Apps verringern.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.