# llama.cpp schaalt MoE-experts per token

> De opensourcebibliotheek llama.cpp schaalt nu de down-projecties van MoE-modellen per token, met betere ondersteuning voor tensorparallelisme.

Oossa · 2026-10-21 · https://oossa.com/nl/llama-cpp-adds-per-expert-token-scaling-for-moe-models

Het project ggml-org/llama.cpp bracht op 2026-10-21 een nieuwe versie uit. Die vervangt één algemene schaalfactor voor down-projecties van mixture-of-experts-modellen (MoE) door een factor per expert en token, met een POOL_1D-maxreductie. De wijziging voegt ook ondersteuning voor tensorparallelisme toe door POOL_1D af te handelen in de logica voor gesplitste toestanden. De update bevat daarnaast opgeschoonde code en een aangepaste structuur voor het retourneren van schaalwaarden.

## De feiten

- Releasedatum: 2026-10-21 ("Wed Oct 21 2026 08:33:35 GMT+0200")
- Wijziging: schaling per expert en token voor MoE-down-projecties

## Waarom het ertoe doet

Ontwikkelaars die MoE-modellen draaien, kunnen nu nauwkeuriger schalen voor elke token. Dat kan de prestaties op systemen met meerdere GPU's verbeteren.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

Laatst bijgewerkt: 2026-10-21