Команда ggml-org выпустила llama.cpp b12031 с первоначальной поддержкой IQ3 в OpenCL — двух компактных форматов весов модели. Обновление добавляет операции для IQ3_S и IQ3_XXS, включая операции с матрицами и векторами, а также специальные реализации для GPU Adreno от Qualcomm.
В примечаниях к выпуску также упоминаются оптимизации декодирования и поддержка более узких пакетов на Adreno. Сравнений скорости нет, поэтому практический прирост производительности не указан.
Почему это важно
Разработчики, запускающие llama.cpp на GPU Adreno, могут попробовать эти реализации OpenCL с моделями IQ3. Однако примечания к выпуску не подтверждают, что они работают быстрее, и не указывают, каким устройствам они принесут наибольшую пользу.
