L’équipe de ggml-org a publié la version b11806 de llama.cpp. Elle prend en charge les poids LoRA repliés prism.hadamard, une technique qui permet d’affiner les modèles plus efficacement. Cette version propose également des binaires précompilés pour Apple Silicon, les Mac Intel, iOS et plusieurs configurations Linux, notamment pour CPU, Vulkan et CUDA. Les utilisateurs peuvent télécharger le paquet qui leur convient depuis la page de publication sur GitHub.
Pourquoi c'est important
Les développeurs peuvent désormais exécuter plus rapidement des modèles affinés avec LoRA sur davantage de plateformes, sans avoir à compiler le code eux-mêmes.
