L’équipe ggml‑org a publié la version b11789 de llama.cpp. Cette mise à jour ajoute des variantes dp4a de GEMM (multiplication matricielle) pour OpenCL, avec des chargements vectoriels des activations, et renomme les noyaux et variables d’environnement associés. Des binaires précompilés sont désormais disponibles pour Apple Silicon, les Mac à processeur Intel, iOS et plusieurs versions d’Ubuntu (CPU, Vulkan, CUDA). Ces changements visent à améliorer les performances sur les GPU compatibles avec l’instruction dp4a.
Pourquoi c'est important
Les développeurs peuvent exécuter llama.cpp plus rapidement sur les GPU compatibles, ce qui réduit le temps d’inférence des applications LLM locales.
