← Tüm yapay zekâ terimleri
Nicemleme ne demek?
Nicemleme (kuantizasyon)
Bir modelin sayılarını daha az bitle saklamak; böylece daha az bellek kullanır ve daha hızlı çalışır, karşılığında biraz kalite kaybı olur. Yapay zekâyı yerelde çalıştırırken yaygındır.
Nicemleme ile ilgili haberler
- llama.cpp b11345, Hexagon’a iki nicemleme türü ekliyor
- Yeni yöntem, düşük bitli LLM kuantizasyonunu hızdan ödün vermeden iyileştiriyor
- ixi‑sLM, Korece yapay zekâlı çağrı asistanını telefona taşıyor
- CERTA, Küçük Klinik Yapay Zekâ Modellerinin Ne Zaman Kullanılabileceğini Test Ediyor
- llama.cpp b11685, q4_K/q5_K için SYCL wide stores desteği ekliyor
- llama.cpp güncellemesi Intel CPU’larda FP16-FP32 hızını geri getirdi