L’équipe ggml-org a publié la version b11406 de llama.cpp. Elle ajoute la prise en charge, sur WebGPU, des chemins de quantification MMVQ Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K et MXFP4. La version comprend également des binaires précompilés pour macOS (Apple Silicon et Intel), iOS ainsi que plusieurs versions d’Ubuntu (CPU, Vulkan et CUDA).
Pourquoi c'est important
Les développeurs peuvent désormais exécuter davantage de grands modèles de langage économes en mémoire dans les navigateurs ou sur des GPU compatibles avec WebGPU, ce qui élargit les possibilités de déploiement de llama.cpp.
