Oossa

llama.cpp aggiunge la normalizzazione NFC opzionale per i tokenizer

La libreria open source per l’inferenza LLaMA consente ora di attivare la normalizzazione Unicode NFC per i tokenizer Unigram.

BreveDi Pubblicato da Oossa: 1 min di lettura

Il team di ggml‑org ha pubblicato la versione b11612 di llama.cpp il 14 Oct 2026. L’aggiornamento aggiunge un passaggio NFC (Normalization Form C) facoltativo per i tokenizer Unigram, che può migliorare la gestione del testo Unicode. La modifica è stata realizzata con l’aiuto di Codex e include una piccola pulizia dei file di test e degli avvisi del linter. La versione elenca inoltre build per numerose piattaforme, dai Mac con Apple Silicon ai sistemi Windows con CUDA 13.

Perché conta

Gli sviluppatori che eseguono modelli LLaMA possono ottenere una tokenizzazione più coerente dei caratteri accentati o composti, riducendo gli output inattesi nelle app multilingue.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.