Команда ggml‑org выпустила llama.cpp версии b11757. После очистки устаревшего пула памяти обновление сбрасывает графы CUDA — это должно уменьшить утечки видеопамяти. Готовые сборки теперь доступны для macOS на Apple Silicon и Intel, iOS, а также нескольких вариантов Ubuntu: для CPU, Vulkan и CUDA 12.8. Релиз опубликован на GitHub.
Почему это важно
После исправления у разработчиков, запускающих модели Llama на видеокартах Nvidia, будет реже возникать ошибка нехватки памяти.