L’équipe ggml‑org a publié la version b12329 de llama.cpp. Elle ajoute une optimisation CUDA qui intègre le traitement des échelles de poids aux écritures de multiplications matricielles, ce qui accélère les checkpoints nvfp4. La mise à jour comprend aussi de nouveaux binaires précompilés pour Apple Silicon, les Mac Intel, iOS et plusieurs variantes de Linux. Ces nouveautés sont téléchargeables sur la page de la version publiée sur GitHub.
Pourquoi c'est important
Les développeurs peuvent exécuter plus rapidement les modèles Llama sur les GPU NVIDIA et profiter de binaires prêts à l’emploi sur davantage de plateformes.
