Oossa

В llama.cpp b11827 добавлена поддержка depthwise conv2d в OpenCL

В версии b11827 библиотеки llama.cpp с открытым исходным кодом появились новые ядра depthwise-свёртки для OpenCL и сборки для macOS, iOS и Linux.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp версии b11827. В обновление вошли ядра depthwise conv2d для OpenCL, в том числе поддержка графических процессоров Qualcomm Adreno. Готовые сборки теперь доступны для macOS на Apple Silicon, macOS на Intel, iOS и нескольких платформ Ubuntu (CPU и Vulkan). Изменения внесли OpenCode и инженер Qualcomm Li He.

Почему это важно

Теперь разработчики могут быстрее запускать модели llama.cpp на устройствах с графическими процессорами OpenCL, что расширяет возможности использования маломощного оборудования.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.