L’équipe ggml-org a publié llama.cpp b11809, qui ajoute la prise en charge de Q2_0 à son backend WebGPU. Cette mise à jour concerne à la fois la déquantification par ligne et la multiplication matricielle, indiquent les notes de version. Celles-ci ne donnent aucun résultat sur la vitesse, la compatibilité matérielle ou l’utilisation de la mémoire : l’impact concret sur les performances reste donc incertain.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp avec WebGPU peuvent essayer des modèles Q2_0, mais les notes de version ne précisent pas leurs performances sur des appareils particuliers.
