Команда ggml‑org выпустила llama.cpp версии b11480 2026‑10‑08. В обновлении появился GPU-кэш для экспертов MoE, который размещается в оперативной памяти компьютера и помогает ускорить работу больших моделей на GPU. В изменении указано, что оно создано при участии Claude; также добавлен новый API llama_moe_cache_ptr. Для скачивания доступны готовые бинарные файлы для macOS, iOS и нескольких конфигураций Ubuntu.
Почему это важно
Разработчики смогут эффективнее запускать модели MoE на потребительских GPU, снижая затраты на оборудование для проектов в сфере ИИ.
