← Todos os termos de IA
O que significa Quantização?
Quantização
Guardar os números de um modelo com menos bits para que ele use menos memória e rode mais rápido, com uma pequena perda de qualidade. Comum para rodar IA localmente.
Notícias que mencionam Quantização
- Nova técnica melhora quantização de LLMs sem custo extra na inferência
- llama.cpp b11685 acelera a desquantização q4_K/q5_K com SYCL
- llama.cpp b11799 acelera a desquantização q8 com SYCL
- llama.cpp b11810 inclui novas opções de dequantização e mais binários
- Atualização do llama.cpp corrige falha rara na quantização
- llama.cpp b11345 adiciona dois tipos de quantização para Hexagon