← Alle KI-Begriffe
Was bedeutet Quantisierung?
Quantisierung
Die Zahlen eines Modells mit weniger Bits speichern, damit es weniger Speicher braucht und schneller läuft – bei etwas geringerer Qualität. Üblich, wenn man KI lokal betreibt.
Nachrichten zu Quantisierung
- Neue Methode verbessert 4-Bit-Quantisierung von LLMs ohne Mehrkosten
- llama.cpp ergänzt Hexagon-Tensor-Repacking und Quantisierung
- llama.cpp b11345 unterstützt zwei Hexagon-Quantisierungstypen
- llama.cpp b11810 bringt neue Dequantisierungsoptionen und mehr Builds
- llama.cpp unterstützt neue WebGPU-Quantisierungsformate
- llama.cpp behebt seltenen Quantisierungsabsturz