← Tous les termes de l’IA
Que signifie « Mélange d’experts » ?
Mélange d’experts (MoE)
Une architecture qui divise le réseau en nombreux « experts » et n’en utilise que quelques-uns par mot, ce qui rend les grands modèles moins coûteux à exécuter.
Actualités qui mentionnent Mélange d’experts
- llama.cpp b11755 ajoute un kernel MoE pour les tokens à 9 experts
- llama.cpp adapte la mise à l’échelle par expert et par token pour les modèles MoE
- Recursive lance Flint, un modèle de code open weight de 40 milliards de paramètres
- Ollama ajoute le modèle de code Flint dans la version 0.40.8‑rc0
- llama.cpp ajoute un cache GPU pour les experts MoE
- JetBrains lance Mellum2.1, un modèle ouvert de 12B pour coder