A ggml-org lançou a versão b12206 do llama.cpp. A atualização corrige o cache de MoE (mistura de especialistas), para que a parte executada na CPU não precise mais esperar pelos especialistas armazenados em cache. Agora há binários pré-compilados para macOS com Apple Silicon, macOS com Intel, iOS e várias configurações do Ubuntu, incluindo x64, arm64 e s390x, com suporte a Vulkan ou zDNN.
Por que importa
Desenvolvedores podem executar LLMs mais rapidamente em suas próprias máquinas, sem o gargalo na CPU causado pelo gerenciamento anterior do cache de MoE.
