# llama.cpp adapte la mise à l’échelle par expert et par token pour les modèles MoE

> La bibliothèque open source llama.cpp applique désormais la mise à l’échelle des projections descendantes MoE à chaque token, avec une meilleure prise en charge du parallélisme tensoriel.

Oossa · 2026-10-21 · https://oossa.com/fr/llama-cpp-adds-per-expert-token-scaling-for-moe-models

Le projet ggml‑org/llama.cpp a publié une nouvelle version le 2026-10-21. Celle-ci remplace le facteur de mise à l’échelle global unique des projections descendantes des modèles à mélange d’experts (MoE) par un facteur appliqué à chaque token et à chaque expert, au moyen d’une réduction maximale POOL_1D. La modification ajoute également la prise en charge du parallélisme tensoriel en intégrant POOL_1D à la logique de répartition des états. La mise à jour comprend aussi des nettoyages de code et une refonte de la structure de retour de la mise à l’échelle.

## Les faits

- Date de publication : 2026-10-21 (« Wed Oct 21 2026 08:33:35 GMT+0200 »)
- Modification : mise à l’échelle par expert et par token pour les projections descendantes MoE

## Pourquoi c'est important

Les développeurs qui utilisent des modèles MoE peuvent désormais obtenir une mise à l’échelle plus précise pour chaque token, ce qui pourrait améliorer les performances sur les configurations multi-GPU.

## Sources et références

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

Dernière mise à jour: 2026-10-21