← Alla AI-begrepp
Vad betyder Kvantisering?
Kvantisering
Att lagra en modells tal med färre bitar så att den kräver mindre minne och går snabbare, mot lite sämre kvalitet. Vanligt när man kör AI lokalt.
Nyheter som nämner Kvantisering
- Ny teknik förbättrar kvantisering av LLM:er utan extra inferenskostnad
- llama.cpp får tensorompackning för Hexagon och stöd för fler kvantiseringar
- llama.cpp b11345 lägger till två kvantiseringstyper för Hexagon
- llama.cpp får nya WebGPU-kvantiseringsformat i b11406
- llama.cpp-uppdatering åtgärdar sällsynt kvantiseringskrasch
- NVIDIA släpper kvantiserad Qwen-Image-modell på Hugging Face