Команда ggml-org выпустила llama.cpp b11809, добавив поддержку Q2_0 в бэкенд WebGPU. Изменения затрагивают построчную деквантизацию и умножение матриц, говорится в примечаниях к выпуску. Данных о скорости, совместимости с оборудованием и использовании памяти не приводится, поэтому практический эффект для производительности неясен.
Почему это важно
Разработчики, использующие llama.cpp с WebGPU, могут попробовать модели Q2_0, но в примечаниях к выпуску не сказано, насколько хорошо они будут работать на конкретных устройствах.
