Oossa

В llama.cpp добавили поддержку BF16 и новые операции

В библиотеке с открытым исходным кодом llama.cpp появились операции с типом данных BF16 и GLU, повышающие производительность на CPU и CUDA.

ЗаметкаOossaОпубликовано Oossa: 1 мин чтения

Команда ggml-org выпустила llama.cpp версии b11293. В ней добавлены унарные операции, GLU, бинарные операции и операции масштабирования с BF16 (форматом чисел половинной точности) для CPU и CUDA. Кроме того, обновлены ядра CUDA — это устраняет проблему со сборкой BF16. Обновление доступно для многих платформ, включая macOS, Windows, Linux и Android.

Почему это важно

Разработчики смогут быстрее запускать модели llama.cpp на оборудовании с поддержкой BF16, например на новых GPU.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.