Das Projekt ggml-org/llama.cpp hat am 2026-10-21 eine neue Version veröffentlicht. Sie ersetzt einen globalen Skalierungsfaktor für MoE-Down-Projektionen durch einen Faktor pro Experten-Token und verwendet dafür eine POOL_1D-Max-Reduktion. Außerdem wird Tensor-Parallelismus unterstützt, indem POOL_1D in die Split-State-Logik integriert wird. Das Update umfasst zudem Bereinigungen am Code und eine überarbeitete Struktur für die Rückgabe der Skalierungswerte.
Warum es wichtig ist
Entwickler, die MoE-Modelle einsetzen, erhalten damit eine genauere Skalierung für jedes Token. Das kann die Leistung in Setups mit mehreren GPUs verbessern.
