Oossa

В llama.cpp b11555 исправили поддержку F16C и обновили сборки

Вышла новая версия библиотеки llama.cpp для запуска Llama. В ней исправили работу с F16C на процессорах AVX2 и подготовили новые сборки для macOS, iOS и Linux.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

ggml-org выпустила llama.cpp версии b11555. В обновлении исправили ошибку, из-за которой процессоры AVX2 не использовали набор инструкций F16C, даже если он был доступен. Также появились новые бинарные пакеты для macOS на Apple Silicon, macOS на Intel, iOS и нескольких конфигураций Ubuntu, в том числе с поддержкой Vulkan и CUDA 12.8.

Почему это важно

Разработчики, запускающие модели Llama на совместимых процессорах, получат более быстрый инференс без ручного внесения исправлений.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.