Oossa

llama.cpp, tokenizer’lara isteğe bağlı NFC normalizasyonu ekledi

Açık kaynaklı LLaMA çıkarım kütüphanesi, Unigram tokenizer’larda Unicode NFC normalizasyonunu etkinleştirme seçeneği sunuyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml‑org ekibi, llama.cpp’nin b11612 sürümünü 14 Oct 2026’da yayımladı. Güncelleme, Unicode metinlerin daha iyi işlenmesini sağlayabilecek isteğe bağlı bir NFC (Normalization Form C) adımı ekliyor. Değişiklik Codex’in yardımıyla yapıldı; test dosyalarında küçük bir düzenleme ve linter uyarılarının giderilmesini de içeriyor. Sürüm notlarında, macOS Apple Silicon’dan CUDA 13’lü Windows’a kadar pek çok platform için derlemeler de listeleniyor.

Neden önemli

LLaMA modellerini çalıştıran geliştiriciler artık aksanlı veya birleşik karakterlerin daha tutarlı biçimde token’lara ayrılmasını sağlayabilir; bu da çok dilli uygulamalardaki beklenmedik çıktıları azaltabilir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.