← Alla AI-begrepp
Vad betyder Mixture of experts?
Mixture of experts (MoE)
En modellkonstruktion som delar upp nätverket i många ”experter” och bara använder några för varje ord, vilket gör stora modeller billigare att köra.
Nyheter som nämner Mixture of experts
- llama.cpp b11755 lägger till saknad MoE-kärna för 9 experter
- llama.cpp inför tokenvis skalning per expert för MoE-modeller
- Recursive släpper Flint, en kodmodell med 40 miljarder parametrar
- llama.cpp lägger till GPU-cache för MoE-experter
- Ollama lägger till kodmodellen Flint i v0.40.8‑rc0
- JetBrains lanserar Mellum2.1, en öppen kodmodell med 12B parametrar