# Dondurulmuş 16 MB sözlük, küçük dil modellerinde öğrenilmiş gömmeleri geride bırakıyor

> Yeni bir araştırmaya göre sabit bir 16 MB’lık kod kitabı, büyük öğrenilmiş gömme tablolarının yerini alabiliyor; doğruluğu korurken model boyutunu küçültüyor ve çıkarımı hızlandırıyor.

Oossa · 2026-10-19 · https://oossa.com/tr/frozen-16-mb-vocabulary-beats-learned-embeddings-in-small-language-models

Saikiran Bathula liderliğindeki araştırmacılar, küçük dil modelleri için çok küçük ve dondurulmuş bir sözlüğü tanıtan ön baskıyı 15 Oct 2026’da yayımladı. Gemma tarzı 270 M’lık bir modelde standart öğrenilmiş gömme tablosunu, yalnızca 16 MB boyutunda ve eğitilebilir parametre içermeyen 512 bitlik bir kod kitabıyla değiştirdiler. Bu tabloyla eğitilen model, LAMBADA ve PIQA gibi kıyaslamalarda özgün modelle aynı performansı gösteriyor veya onu geride bırakıyor; üstelik çok daha az bellek kullanıyor ve dizüstü bilgisayarın CPU’sunda 5–6× daha hızlı çalışıyor.

## Gerçekler

- Makale 15 Oct 2026’da gönderildi ("Thu, 15 Oct 2026 06:34:18 UTC")
- Dondurulmuş sözlüğün boyutu: 16 MB; öğrenilmiş tablo ise 168 MB

## Neden önemli

Geliştiriciler, yaygın görevlerde performanstan ödün vermeden uç cihazlarda küçük ve hızlı dil modelleri çalıştırabilir.

## Kaynaklar ve referanslar

1. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428) – arXiv, 2026-10-19

Son güncelleme: 2026-10-19