ggml-org a publié la version b11555 de llama.cpp. Cette mise à jour corrige un bug qui empêchait les processeurs AVX2 d’utiliser le jeu d’instructions F16C, même lorsqu’il était disponible. Elle comprend également de nouveaux paquets binaires pour macOS sur Apple Silicon, macOS sur processeurs Intel, iOS et plusieurs configurations Ubuntu, avec notamment la prise en charge de Vulkan et de CUDA 12.8.
Pourquoi c'est important
Les développeurs qui exécutent des modèles Llama sur des processeurs compatibles bénéficieront d’une inférence plus rapide, sans avoir à appliquer de correctifs manuellement.
