Het team van ggml-org heeft llama.cpp b11809 uitgebracht, met ondersteuning voor Q2_0 in de WebGPU-backend. Volgens de release notes omvat de wijziging zowel rijdekwantisering als matrixvermenigvuldiging. Er zijn geen gegevens over snelheid, hardwarecompatibiliteit of geheugengebruik, dus het is onduidelijk wat het effect in de praktijk is.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met WebGPU gebruiken, kunnen Q2_0-modellen uitproberen, maar uit de release notes blijkt niet hoe goed die op specifieke apparaten zullen draaien.
