# Fireworks: Rechenabweichungen können RL-Training scheitern lassen

> Ein Experiment von Fireworks zeigt: Unterschiedliche Berechnungen in Trainer und Rollout-Engine lassen die Belohnung einbrechen. MoE-Modelle stellen zusätzliche Anforderungen an die Abstimmung.

Oossa · 2026-10-01 · https://oossa.com/de/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI berichtet, dass ein Reinforcement-Learning-Lauf mit dem Modell GLM‑5.2 nach 20 Schritten einbrach, weil Trainer und Rollout-Engine Token-Wahrscheinlichkeiten unterschiedlich berechneten. Durch abgestimmte Berechnungen blieb die KL-Divergenz bei null und die Belohnung während des gesamten Laufs über 25 Schritte stabil. Das Team stellte außerdem fest, dass bei einem Qwen‑3.5‑MoE-Modell geringe Unterschiede beim Addieren der Expertenausgaben eine große k3-Abweichung verursachten. Das zeigt, dass beim MoE-Routing sowohl die Auswahl als auch die Rechengenauigkeit aufeinander abgestimmt werden müssen.

## Die Fakten

- GLM‑5.2-Experiment: Ohne numerische Abstimmung sank die Belohnung bei Schritt 20 von ~0.9 auf <0.2; mit Abstimmung blieb sie über 25 Schritte stabil.
- Qwen‑3.5‑MoE-Test: Eine k3-Divergenz von 0.296 (≈300× über dem Schwellenwert von 0.001) wurde auf die Genauigkeit bei der Aggregation der Expertenausgaben zurückgeführt.

## Warum es wichtig ist

Wenn Trainer und Rollout-Engine Berechnungen aufeinander abstimmen, können ML-Teams kostspielige, fehlgeschlagene RL-Läufe vermeiden und Reinforcement Learning zuverlässiger skalieren.

## Quellen und Referenzen

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Zuletzt aktualisiert: 2026-10-01