Fireworks AI сообщает, что в ходе обучения с подкреплением модели GLM‑5.2 награда обрушилась после 20 шагов, когда тренер и движок генерации по-разному вычисляли вероятности токенов. После согласования вычислений расхождение KL оставалось нулевым, а награда — стабильной на протяжении всех 25 шагов. Команда также выяснила, что в модели Qwen‑3.5‑MoE небольшие различия в суммировании выходов экспертов привели к значительному расхождению k3. Это показывает, что для маршрутизации MoE нужно согласовывать и выбор экспертов, и точность вычислений.
Почему это важно
Согласование вычислений тренера и движка генерации помогает ML-командам избежать дорогостоящих неудачных запусков RL и надёжнее масштабировать обучение с подкреплением.
