Fireworks AIによると、学習器とロールアウトエンジンでトークン確率の計算方法が異なる場合、同社のGLM‑5.2モデルを使った強化学習の実行では、20ステップ後に報酬が崩壊した。計算を一致させると、KLダイバージェンスはゼロに保たれ、25ステップの実行中、報酬も安定した。また、Qwen‑3.5‑MoEモデルでは、エキスパートの出力を合算する方法のわずかな違いが大きなk3の不一致につながることも判明した。MoEのルーティングでは、選択方法と精度の両方を一致させる必要がある。
なぜ重要か
学習器とロールアウトの計算を一致させることで、MLチームはコストのかかるRL実行の失敗を避け、より確実に強化学習を拡大できる。
