ggml-org a publié la version b12206 de llama.cpp. Cette mise à jour corrige le cache MoE (mélange d’experts), afin que le processeur n’attende plus les experts mis en cache. Des binaires précompilés sont désormais disponibles pour les Mac Apple Silicon, les Mac Intel, iOS et plusieurs configurations Ubuntu, notamment x64, arm64 et s390x, avec prise en charge de Vulkan ou zDNN.
Pourquoi c'est important
Les développeurs peuvent exécuter des LLM plus rapidement sur leurs propres machines, sans le goulot d’étranglement du processeur causé par l’ancienne gestion du cache MoE.
