Команда ggml-org выпустила llama.cpp b11623. В релизе добавлен путь SIMT implicit GEMM для двумерных свёрток на AMD GPU без поддержки WMMA. Для коротких редукций этот путь пропускается; в примечаниях к релизу не указано, насколько он ускоряет вычисления и какие видеокарты AMD получают от него пользу. Сборки для скачивания доступны для macOS, iOS и нескольких платформ Linux.
Почему это важно
Для разработчиков, запускающих llama.cpp на AMD GPU, это добавляет путь выполнения свёрток там, где недоступна WMMA. Однако влияние на производительность и список поддерживаемого оборудования остаются неясными.
