Teamet ggml-org har släppt llama.cpp b11809, som lägger till stöd för Q2_0 i WebGPU-backenden. Ändringen omfattar både dekvantisering av rader och matrismultiplikation, enligt versionsinformationen. Där finns inga uppgifter om hastighet, maskinvarukompatibilitet eller minnesanvändning, så det är oklart vilken praktisk prestandapåverkan ändringen får.
Varför det spelar roll
Utvecklare som använder llama.cpp med WebGPU kan testa Q2_0-modeller, men versionsinformationen säger inte hur bra de fungerar på specifika enheter.
