← Все термины ИИ
Что означает «Квантование»?
Квантование
Хранение чисел модели меньшим числом бит: ей нужно меньше памяти и она работает быстрее ценой небольшой потери качества. Часто используется для запуска ИИ локально.
Новости, где упоминается «Квантование»
- Новый метод улучшает квантование LLM без затрат на инференс
- Liquid AI выпустила 24B LFM2.5 в формате MLX с квантованием до 6 бит
- llama.cpp добавила перепаковку тензоров для Hexagon и новые форматы квантования
- llama.cpp b11345 добавляет два типа квантования для Hexagon
- Обновление llama.cpp устраняет редкий сбой при квантовании
- llama.cpp добавила новые форматы квантования WebGPU в b11406