# Fireworks、数値計算のずれでRL学習が破綻すると確認

> Fireworksの実験で、学習器とロールアウトエンジンの計算が一致しないと報酬が崩壊することが判明。MoEモデルでは、さらに調整が難しくなる。

Oossa · 2026-10-01 · https://oossa.com/ja/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AIによると、学習器とロールアウトエンジンでトークン確率の計算方法が異なる場合、同社のGLM‑5.2モデルを使った強化学習の実行では、20ステップ後に報酬が崩壊した。計算を一致させると、KLダイバージェンスはゼロに保たれ、25ステップの実行中、報酬も安定した。また、Qwen‑3.5‑MoEモデルでは、エキスパートの出力を合算する方法のわずかな違いが大きなk3の不一致につながることも判明した。MoEのルーティングでは、選択方法と精度の両方を一致させる必要がある。

## 事実

- GLM‑5.2の実験：数値計算を一致させない場合、報酬は20ステップ目に約0.9から0.2未満へ低下。一致させた場合は25ステップにわたって安定。
- Qwen‑3.5‑MoEのテスト：k3ダイバージェンスは0.296（しきい値0.001の約300倍）。原因はエキスパート出力を集約する際の精度だった。

## なぜ重要か

学習器とロールアウトの計算を一致させることで、MLチームはコストのかかるRL実行の失敗を避け、より確実に強化学習を拡大できる。

## 出典と参考資料

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

最終更新: 2026-10-01