Проект ggml‑org/llama.cpp выпустил версию b12328 2026-11-12. В обновлении изменили работу бэкенда: теперь он заранее загружает только входные данные, вычисленные на предыдущих этапах, и не считывает тензоры, которые позже будут перезаписаны. Также добавлена проверка: кэш MoE (смеси экспертов) пропускается, если текущее устройство не поддерживает кэшируемую операцию. Это позволяет избежать ненужного копирования данных.
Почему это важно
Разработчики могут рассчитывать на меньший трафик памяти и более быстрый вывод на оборудовании, не поддерживающем рабочие нагрузки MoE.
