Projektet ggml‑org/llama.cpp släppte version b12328 den 2026-11-12. Uppdateringen ändrar backend så att den bara förladdar indata som har beräknats i tidigare uppdelningar. Därmed undviker den att läsa tensorer som kommer att skrivas över senare. Den inför också en kontroll som hoppar över MoE-cachen (mixture-of-experts) när den aktuella enheten inte kan köra den cachade operationen, vilket förhindrar onödiga datakopior.
Varför det spelar roll
Utvecklare kan räkna med mindre minnestrafik och snabbare inferens på hårdvara som inte klarar MoE-arbetsbelastningar.
