ggml‑org ha rilasciato la versione b12206 di llama.cpp. L’aggiornamento corregge la cache MoE (mixture of experts), così la CPU non deve più attendere gli esperti memorizzati nella cache. Sono ora disponibili binari precompilati per macOS con Apple Silicon, macOS con processori Intel, iOS e diverse configurazioni di Ubuntu, tra cui x64, arm64 e s390x, con supporto Vulkan o zDNN.
Perché conta
Gli sviluppatori possono eseguire LLM più velocemente sui propri dispositivi, senza il collo di bottiglia della CPU causato dalla precedente gestione della cache MoE.
