Fireworks AI meldt dat een reinforcement-learningrun met het GLM‑5.2-model na 20 stappen instortte doordat de trainer en de rollout-engine tokenwaarschijnlijkheden verschillend berekenden. Door de berekeningen op elkaar af te stemmen, bleef de KL-divergentie nul en de beloning gedurende de volledige run van 25 stappen stabiel. Het team ontdekte ook dat kleine verschillen in de manier waarop expertoutputs worden opgeteld in een Qwen‑3.5‑MoE-model een grote k3-afwijking veroorzaakten. Dat laat zien dat MoE-routering zowel wat de selectie als de precisie betreft moet worden afgestemd.
Waarom het ertoe doet
Door de berekeningen van de trainer en rollout-engine op elkaar af te stemmen, kunnen ML-teams mislukte en kostbare RL-runs voorkomen en reinforcement learning betrouwbaarder opschalen.
