Saikiran Bathula liderliğindeki araştırmacılar, küçük dil modelleri için çok küçük ve dondurulmuş bir sözlüğü tanıtan ön baskıyı 15 Oct 2026’da yayımladı. Gemma tarzı 270 M’lık bir modelde standart öğrenilmiş gömme tablosunu, yalnızca 16 MB boyutunda ve eğitilebilir parametre içermeyen 512 bitlik bir kod kitabıyla değiştirdiler. Bu tabloyla eğitilen model, LAMBADA ve PIQA gibi kıyaslamalarda özgün modelle aynı performansı gösteriyor veya onu geride bırakıyor; üstelik çok daha az bellek kullanıyor ve dizüstü bilgisayarın CPU’sunda 5–6× daha hızlı çalışıyor.
Neden önemli
Geliştiriciler, yaygın görevlerde performanstan ödün vermeden uç cihazlarda küçük ve hızlı dil modelleri çalıştırabilir.
