# Fireworks: расхождение вычислений может сорвать обучение RL

> Эксперимент Fireworks показал: несогласованные вычисления тренера и движка генерации приводят к падению награды, а модели MoE требуют дополнительной синхронизации.

Oossa · 2026-10-01 · https://oossa.com/ru/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI сообщает, что в ходе обучения с подкреплением модели GLM‑5.2 награда обрушилась после 20 шагов, когда тренер и движок генерации по-разному вычисляли вероятности токенов. После согласования вычислений расхождение KL оставалось нулевым, а награда — стабильной на протяжении всех 25 шагов. Команда также выяснила, что в модели Qwen‑3.5‑MoE небольшие различия в суммировании выходов экспертов привели к значительному расхождению k3. Это показывает, что для маршрутизации MoE нужно согласовывать и выбор экспертов, и точность вычислений.

## Факты

- Эксперимент с GLM‑5.2: без согласования вычислений награда упала примерно с 0,9 до менее 0,2 на шаге 20; после согласования она оставалась стабильной на протяжении 25 шагов.
- Тест Qwen‑3.5‑MoE: расхождение k3 составило 0,296 — примерно в 300 раз выше порога 0,001. Причиной стала точность суммирования выходов экспертов.

## Почему это важно

Согласование вычислений тренера и движка генерации помогает ML-командам избежать дорогостоящих неудачных запусков RL и надёжнее масштабировать обучение с подкреплением.

## Источники и ссылки

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Обновлено: 2026-10-01