← Todos los términos de IA
¿Qué significa Cuantización?
Cuantización
Guardar los números de un modelo con menos bits para que necesite menos memoria y vaya más rápido, a cambio de algo de calidad. Habitual para ejecutar IA en local.
Noticias que mencionan Cuantización
- llama.cpp b11685 acelera la cuantización q4_K y q5_K con SYCL
- Una técnica mejora la cuantización de LLM con menos bits sin coste adicional al inferir
- llama.cpp b11799 incorpora una rápida descuantización q8 con SYCL
- Una actualización de llama.cpp corrige un fallo de cuantización
- llama.cpp b11345 añade dos tipos de cuantización para Hexagon
- llama.cpp suma nuevos formatos de cuantización WebGPU en b11406