Oossa

llama.cpp b11792 дольше сохраняет данные на GPU

Вышла новая версия среды выполнения LLM с готовыми сборками и оптимизацией, благодаря которой данные дольше остаются на GPU.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Команда ggml‑org выпустила llama.cpp версии b11792 2026‑10‑21. В обновлении изменён вызов set_rows: теперь данные могут оставаться на GPU, что повышает скорость работы на видеокартах. Готовые сборки доступны для macOS на Apple Silicon и Intel, iOS, а также нескольких версий Ubuntu (CPU, Vulkan, CUDA 12.8). Ссылки на релиз опубликованы на странице тега GitHub.

В примечаниях к выпуску изменение описано так: «разместить d2t в соответствии с его использованием в set_rows, чтобы он мог оставаться на GPU (#30912)».

Почему это важно

Разработчики смогут быстрее запускать модели Llama на совместимых GPU без дополнительных передач данных.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.