ggml-org heeft llama.cpp versie b12206 uitgebracht. De update verbetert de MoE-cache (mixture of experts), zodat het CPU-gedeelte niet langer hoeft te wachten op gecachete experts. Er zijn nu vooraf gebouwde binaries beschikbaar voor macOS op Apple Silicon en Intel, iOS en verschillende Ubuntu-configuraties, waaronder x64, arm64 en s390x met ondersteuning voor Vulkan of zDNN.
Waarom het ertoe doet
Ontwikkelaars kunnen LLM's sneller op hun eigen machines draaien, zonder de CPU-knelpunten die eerdere MoE-caching veroorzaakte.
