В релизе ggml-org llama.cpp b11971 появилась тайловая операция OpenCL с матрицами q4_K для GPU Adreno. Кроме того, при размере пакета больше одного выходной слой языковой модели для q4_K теперь использует эту операцию.
В релизе доступны сборки для macOS, iOS и нескольких платформ Linux. В примечаниях к выпуску нет результатов измерения производительности, поэтому влияние изменений для Adreno на скорость и потребление ресурсов неясно.
Почему это важно
Разработчики, запускающие llama.cpp на устройствах с Adreno, могут попробовать новый путь OpenCL, однако в примечаниях к релизу не сказано, ускоряет ли он инференс.
