Projektet ggml‑org/llama.cpp släppte en ny version den 2026-10-21. Den ersätter en gemensam global skalningsfaktor för MoE-nedprojektioner med en faktor per expert och token, med hjälp av en maxreduktion av typen POOL_1D. Ändringen lägger också till stöd för tensorparallellism genom att hantera POOL_1D i logiken för delat tillstånd. Uppdateringen innehåller även kodstädning och en omarbetad struktur för skalningsreturvärden.
Varför det spelar roll
Utvecklare som kör MoE-modeller kan nu få mer exakt skalning för varje token, vilket kan förbättra prestandan i konfigurationer med flera GPU:er.
