Oossa

llama.cpp får valfri NFC-normalisering för tokeniserare

Det öppna LLaMA-biblioteket för inferens låter nu användare aktivera Unicode-normalisering enligt NFC för Unigram-tokeniserare.

NotisAv Publicerad av Oossa: 1 min läsning

Teamet ggml-org släppte version b11612 av llama.cpp den 14 Oct 2026. Uppdateringen lägger till ett valfritt NFC-steg (Normalization Form C) för Unigram-tokeniserare, vilket kan förbättra hanteringen av Unicode-text. Ändringen gjordes med hjälp av Codex och innehåller även en mindre städning av testfiler och lintervarningar. I versionen listas också byggen för många plattformar, från macOS med Apple Silicon till Windows med CUDA 13.

Varför det spelar roll

Utvecklare som kör LLaMA-modeller kan nu få en mer konsekvent tokenisering av tecken med accenter eller sammansatta tecken, vilket minskar risken för oväntade resultat i flerspråkiga appar.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.