# llama.cpp skaliert MoE-Experten jetzt pro Token

> Die Open-Source-Bibliothek llama.cpp skaliert MoE-Down-Projektionen nun für jedes Token einzeln und verbessert damit die Unterstützung für Tensor-Parallelismus.

Oossa · 2026-10-21 · https://oossa.com/de/llama-cpp-adds-per-expert-token-scaling-for-moe-models

Das Projekt ggml-org/llama.cpp hat am 2026-10-21 eine neue Version veröffentlicht. Sie ersetzt einen globalen Skalierungsfaktor für MoE-Down-Projektionen durch einen Faktor pro Experten-Token und verwendet dafür eine POOL_1D-Max-Reduktion. Außerdem wird Tensor-Parallelismus unterstützt, indem POOL_1D in die Split-State-Logik integriert wird. Das Update umfasst zudem Bereinigungen am Code und eine überarbeitete Struktur für die Rückgabe der Skalierungswerte.

## Die Fakten

- Veröffentlichungsdatum: 2026-10-21 ("Wed Oct 21 2026 08:33:35 GMT+0200")
- Änderung: Skalierung von MoE-Down-Projektionen pro Experten-Token

## Warum es wichtig ist

Entwickler, die MoE-Modelle einsetzen, erhalten damit eine genauere Skalierung für jedes Token. Das kann die Leistung in Setups mit mehreren GPUs verbessern.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

Zuletzt aktualisiert: 2026-10-21