Команда ggml-org выпустила llama.cpp b12367. В обновлении CUDA в сборки, не рассчитанные специально на SM103, добавлен SASS — машинный код для GPU. Благодаря этому такие сборки могут выполнять код, подготовленный для оборудования SM103, даже если их не компилировали специально для этой архитектуры.
В выпуске также доступны сборки для macOS, iOS и нескольких систем Linux. В примечаниях не указано, в каких GPU используется SM103, и нет результатов тестов производительности.
Почему это важно
Пользователи llama.cpp на оборудовании Nvidia с поддержкой SM103, возможно, смогут использовать сборки CUDA, не рассчитанные специально на эту архитектуру. Однако в примечаниях к выпуску не указаны модели GPU и не приводятся данные об изменении скорости.
