L’équipe ggml-org a publié la version b11757 de llama.cpp. La mise à jour efface les graphes CUDA après la vidange d’un ancien pool mémoire, ce qui devrait réduire les fuites de mémoire GPU. Des binaires précompilés sont désormais disponibles pour macOS sur Apple Silicon, macOS sur processeur Intel, iOS et plusieurs versions d’Ubuntu (CPU, Vulkan et CUDA 12.8). La version est publiée sur GitHub.
Pourquoi c'est important
Grâce à cette correction, les développeurs qui exécutent des modèles Llama sur des GPU Nvidia devraient rencontrer moins d’erreurs de mémoire insuffisante.
