Проект ggml‑org/llama.cpp выпустил новую версию 2026-10-21. В ней единый глобальный коэффициент масштабирования для нисходящих проекций смеси экспертов (MoE) заменили коэффициентом, который рассчитывается отдельно для каждого токена и эксперта с помощью операции максимума POOL_1D. Изменение также добавляет поддержку тензорного параллелизма: POOL_1D теперь обрабатывается в логике разделения состояния. В обновление вошли очистка кода и переработанная структура возврата результатов масштабирования.
Почему это важно
Разработчики, запускающие MoE-модели, теперь могут точнее масштабировать значения для каждого токена, что может повысить производительность в системах с несколькими GPU.
