ggml‑org hat llama.cpp in Version b12206 veröffentlicht. Das Update behebt ein Problem mit dem MoE-Cache (Mixture of Experts), durch das die CPU nicht mehr auf zwischengespeicherte Experten warten muss. Vorgefertigte Binärdateien sind jetzt für Apple-Silicon-Macs, Intel-Macs, iOS und mehrere Ubuntu-Konfigurationen verfügbar, darunter x64, arm64 und s390x mit Vulkan- oder zDNN-Unterstützung.
Warum es wichtig ist
Entwickler können LLMs schneller auf ihren eigenen Rechnern ausführen, ohne den CPU-Engpass, den die frühere MoE-Cache-Verwaltung verursacht hat.
