Het project ggml-org/llama.cpp bracht op 2026-10-21 een nieuwe versie uit. Die vervangt één algemene schaalfactor voor down-projecties van mixture-of-experts-modellen (MoE) door een factor per expert en token, met een POOL_1D-maxreductie. De wijziging voegt ook ondersteuning voor tensorparallelisme toe door POOL_1D af te handelen in de logica voor gesplitste toestanden. De update bevat daarnaast opgeschoonde code en een aangepaste structuur voor het retourneren van schaalwaarden.
Waarom het ertoe doet
Ontwikkelaars die MoE-modellen draaien, kunnen nu nauwkeuriger schalen voor elke token. Dat kan de prestaties op systemen met meerdere GPU's verbeteren.
