← Alle AI-begrippen
Wat betekent Mixture of experts?
Mixture of experts (MoE)
Een modelontwerp dat het netwerk opdeelt in veel ‘experts’ en per woord maar een paar gebruikt, waardoor grote modellen goedkoper draaien.
Nieuws over Mixture of experts
- llama.cpp b11755 voegt MoE-kernel toe voor tokens met 9 experts
- llama.cpp schaalt MoE-experts per token
- llama.cpp voegt GPU-cache toe voor MoE-experts
- Ollama voegt Flint-codeermodel toe in v0.40.8‑rc0
- Recursive lanceert Flint, een open model met 40 miljard parameters
- JetBrains brengt Mellum2.1 uit, een open model van 12B voor code-assistenten