Das Projekt ggml‑org/llama.cpp hat am 2026-11-12 Version b12328 veröffentlicht. Das Update passt das Backend so an, dass es nur Eingaben vorab lädt, die von früheren Splits berechnet wurden. So werden keine Tensoren gelesen, die später überschrieben werden. Außerdem wird geprüft, ob das aktuelle Gerät den zwischengespeicherten Vorgang ausführen kann. Falls nicht, wird der MoE-Cache (Mixture of Experts) übersprungen, um unnötige Datenkopien zu vermeiden.
Warum es wichtig ist
Entwickler können mit geringerem Speicherverkehr und schnellerer Inferenz auf Hardware rechnen, die MoE-Workloads nicht verarbeiten kann.
