Das ggml-org-Team hat llama.cpp b11809 veröffentlicht und damit die Unterstützung für Q2_0 im WebGPU-Backend erweitert. Die Änderungen umfassen sowohl die Zeilen-Dequantisierung als auch die Matrixmultiplikation, heißt es in den Release Notes. Angaben zu Geschwindigkeit, Hardware-Kompatibilität oder Speicherbedarf fehlen, daher ist unklar, wie sich die Neuerungen in der Praxis auf die Leistung auswirken.
Warum es wichtig ist
Entwickler, die llama.cpp mit WebGPU nutzen, können Q2_0-Modelle ausprobieren. Die Release Notes sagen jedoch nicht, wie gut sie auf bestimmten Geräten laufen.
