L’équipe ggml‑org a publié la version b11685 de llama.cpp. Elle ajoute une optimisation SYCL appelée « wide stores » pour la déquantification des poids q4_K et q5_K. Cette version comprend des binaires précompilés pour macOS sur Apple Silicon, macOS sur Intel, iOS et plusieurs configurations Ubuntu (CPU, Vulkan et CUDA 12.8). Cette amélioration vise à accélérer l’inférence des modèles quantifiés sur les GPU compatibles avec SYCL.
Pourquoi c'est important
Les développeurs peuvent exécuter plus rapidement des LLM quantifiés sur des GPU SYCL, ce qui élargit le choix de matériel abordable pour les applications d’IA.
