Het project ggml‑org/llama.cpp bracht op 2026-11-12 versie b12328 uit. De update past de backend aan, zodat die alleen invoer vooraf ophaalt die in eerdere splits is berekend. Zo worden tensors die later worden overschreven niet uitgelezen. Ook wordt voortaan gecontroleerd of het huidige apparaat de bewerking in de MoE-cache (mixture-of-experts) kan uitvoeren. Zo niet, dan wordt die cache overgeslagen en worden onnodige gegevenskopieën voorkomen.
Waarom het ertoe doet
Ontwikkelaars kunnen rekenen op minder geheugenverkeer en snellere inferentie op hardware die MoE-workloads niet aankan.
