# Fireworks: rekenverschillen kunnen RL-training doen ontsporen

> Een experiment van Fireworks laat zien dat afwijkende berekeningen bij de trainer en de rollout-engine de beloning kunnen laten kelderen. MoE-modellen brengen extra uitdagingen voor de afstemming met zich mee.

Oossa · 2026-10-01 · https://oossa.com/nl/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI meldt dat een reinforcement-learningrun met het GLM‑5.2-model na 20 stappen instortte doordat de trainer en de rollout-engine tokenwaarschijnlijkheden verschillend berekenden. Door de berekeningen op elkaar af te stemmen, bleef de KL-divergentie nul en de beloning gedurende de volledige run van 25 stappen stabiel. Het team ontdekte ook dat kleine verschillen in de manier waarop expertoutputs worden opgeteld in een Qwen‑3.5‑MoE-model een grote k3-afwijking veroorzaakten. Dat laat zien dat MoE-routering zowel wat de selectie als de precisie betreft moet worden afgestemd.

## De feiten

- Experiment met GLM‑5.2: zonder numerieke afstemming zakte de beloning bij stap 20 van ~0.9 naar <0.2; met afstemming bleef die gedurende 25 stappen stabiel.
- Test met Qwen‑3.5‑MoE: een k3-divergentie van 0.296 (≈300× de drempel van 0.001) bleek te worden veroorzaakt door de precisie waarmee expertoutputs worden samengevoegd.

## Waarom het ertoe doet

Door de berekeningen van de trainer en rollout-engine op elkaar af te stemmen, kunnen ML-teams mislukte en kostbare RL-runs voorkomen en reinforcement learning betrouwbaarder opschalen.

## Bronnen en referenties

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Laatst bijgewerkt: 2026-10-01