Fireworks AI rapporterar att en förstärkningsinlärningskörning med företagets GLM‑5.2-modell fick en kollaps i belöningen efter 20 steg när träningsmotorn och rolloutmotorn beräknade sannolikheten för token på olika sätt. När beräkningarna synkroniserades låg KL-divergensen på noll och belöningen var stabil under hela körningen på 25 steg. Teamet upptäckte också att små skillnader i hur expertutdata summeras i en Qwen‑3.5‑MoE-modell ledde till en stor k3-avvikelse. Det visar att MoE-routing kräver att både expertval och beräkningsprecision synkroniseras.
Varför det spelar roll
När tränings- och rolloutberäkningar stämmer överens kan ML-team undvika kostsamma misslyckade RL-körningar och skala upp förstärkningsinlärning på ett mer tillförlitligt sätt.
