← Все термины ИИ
Что означает «Смесь экспертов»?
Смесь экспертов (MoE)
Архитектура, которая делит сеть на множество «экспертов» и использует лишь несколько из них для каждого слова. Так большие модели обходятся дешевле.
Новости, где упоминается «Смесь экспертов»
- llama.cpp b11755 добавляет недостающее ядро MoE для 9 экспертов
- llama.cpp масштабирует токены для каждого эксперта в MoE-моделях
- Ollama добавила модель для программирования Flint в v0.40.8‑rc0
- llama.cpp добавила GPU-кэш для экспертов MoE
- Recursive выпустила открытую кодовую модель Flint на 40 млрд параметров
- Meta выпустила Muse Spark Open — MoE-модель с 816 млрд параметров