Проект llama.cpp выпустил предварительную версию b12173, добавив поддержку операций repeat в OpenCL для типов данных f16, i32, i16 и bf16. OpenCL позволяет выполнять вычислительные задачи на совместимых процессорах и графических ускорителях.
На странице релиза перечислены сборки для Linux, Windows, macOS, iOS и Android, а также несколько вариантов для разного оборудования и ускорителей. В описании не уточняется, какие устройства или задачи получат наибольшую пользу от этого изменения.
Почему это важно
Разработчики, использующие llama.cpp с OpenCL, смогут выполнять операции repeat с этими четырьмя типами данных, однако в описании релиза не указано, на каких устройствах поддержка будет работать на практике.
