L’équipe ggml-org a publié la version b11777 de llama.cpp. Cette mise à jour fait passer la sortie des modèles Qwen d’un tenseur à 3 dimensions à un tenseur à 2 dimensions, supprimant ainsi une étape de remodelage finale superflue. La version propose également des binaires prêts à l’emploi pour macOS (Apple Silicon et Intel), iOS et plusieurs versions d’Ubuntu, avec notamment des options Vulkan et CUDA.
Pourquoi c'est important
Les développeurs peuvent télécharger ces nouveaux binaires et exécuter des LLM en local sur davantage d’appareils sans avoir à compiler le code source.
