# llama.cpp масштабирует токены для каждого эксперта в MoE-моделях

> Библиотека с открытым исходным кодом llama.cpp теперь применяет масштабирование по токенам к проекциям MoE, улучшая поддержку тензорного параллелизма.

Oossa · 2026-10-21 · https://oossa.com/ru/llama-cpp-adds-per-expert-token-scaling-for-moe-models

Проект ggml‑org/llama.cpp выпустил новую версию 2026-10-21. В ней единый глобальный коэффициент масштабирования для нисходящих проекций смеси экспертов (MoE) заменили коэффициентом, который рассчитывается отдельно для каждого токена и эксперта с помощью операции максимума POOL_1D. Изменение также добавляет поддержку тензорного параллелизма: POOL_1D теперь обрабатывается в логике разделения состояния. В обновление вошли очистка кода и переработанная структура возврата результатов масштабирования.

## Факты

- Дата релиза: 2026-10-21 ("Wed Oct 21 2026 08:33:35 GMT+0200")
- Изменение: масштабирование нисходящих проекций MoE отдельно для каждого токена и эксперта

## Почему это важно

Разработчики, запускающие MoE-модели, теперь могут точнее масштабировать значения для каждого токена, что может повысить производительность в системах с несколькими GPU.

## Источники и ссылки

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

Обновлено: 2026-10-21