Fireworks AI berichtet, dass ein Reinforcement-Learning-Lauf mit dem Modell GLM‑5.2 nach 20 Schritten einbrach, weil Trainer und Rollout-Engine Token-Wahrscheinlichkeiten unterschiedlich berechneten. Durch abgestimmte Berechnungen blieb die KL-Divergenz bei null und die Belohnung während des gesamten Laufs über 25 Schritte stabil. Das Team stellte außerdem fest, dass bei einem Qwen‑3.5‑MoE-Modell geringe Unterschiede beim Addieren der Expertenausgaben eine große k3-Abweichung verursachten. Das zeigt, dass beim MoE-Routing sowohl die Auswahl als auch die Rechengenauigkeit aufeinander abgestimmt werden müssen.
Warum es wichtig ist
Wenn Trainer und Rollout-Engine Berechnungen aufeinander abstimmen, können ML-Teams kostspielige, fehlgeschlagene RL-Läufe vermeiden und Reinforcement Learning zuverlässiger skalieren.
