A equipe ggml-org lançou o llama.cpp b11809, que adiciona suporte a Q2_0 ao backend WebGPU. A mudança inclui desquantização por linha e multiplicação de matrizes, segundo as notas de lançamento. Elas não apresentam resultados de velocidade, compatibilidade de hardware ou uso de memória; por isso, o impacto prático no desempenho não está claro.
Por que importa
Desenvolvedores que usam llama.cpp com WebGPU podem testar modelos Q2_0, mas as notas de lançamento não informam como eles funcionarão em dispositivos específicos.
