Il team ggml-org ha rilasciato llama.cpp b11809, aggiungendo il supporto a Q2_0 nel backend WebGPU. La modifica riguarda sia la dequantizzazione per riga sia la moltiplicazione di matrici, stando alle note di rilascio. Non vengono forniti dati su velocità, compatibilità hardware o uso della memoria, quindi l’impatto pratico sulle prestazioni non è chiaro.
Perché conta
Gli sviluppatori che usano llama.cpp con WebGPU possono provare i modelli Q2_0, ma le note di rilascio non indicano come funzioneranno sui singoli dispositivi.
