Oossa

В llama.cpp b11757 исправили работу с графами CUDA

Вышла версия b11757 библиотеки llama.cpp для запуска моделей Llama. В ней исправили обработку графов CUDA и добавили готовые сборки для macOS, iOS и Linux.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml‑org выпустила llama.cpp версии b11757. После очистки устаревшего пула памяти обновление сбрасывает графы CUDA — это должно уменьшить утечки видеопамяти. Готовые сборки теперь доступны для macOS на Apple Silicon и Intel, iOS, а также нескольких вариантов Ubuntu: для CPU, Vulkan и CUDA 12.8. Релиз опубликован на GitHub.

Почему это важно

После исправления у разработчиков, запускающих модели Llama на видеокартах Nvidia, будет реже возникать ошибка нехватки памяти.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.