← Alle AI-begrippen
Wat betekent Kwantisatie?
Kwantisatie
De getallen van een model met minder bits opslaan, zodat het minder geheugen nodig heeft en sneller draait, ten koste van wat kwaliteit. Gebruikelijk om AI lokaal te draaien.
Nieuws over Kwantisatie
- llama.cpp ondersteunt Q1_0 en Q2_0-kwantisatie op Hexagon NPU
- Nieuwe techniek verbetert LLM-kwantisatie zonder extra rekenkosten
- llama.cpp b11345 voegt twee Hexagon-kwantisatietypen toe
- llama.cpp b11799 voegt snelle SYCL-dequantisatie voor q8 toe
- llama.cpp krijgt Hexagon-tensorherverpakking en nieuwe quantisatie
- llama.cpp b11685 versnelt dequantisatie van q4_K en q5_K via SYCL