# Fireworks: Sifferavvikelser kan slå ut RL-träning

> Ett experiment från Fireworks visar att skillnader i beräkningar mellan tränings- och rolloutmotorn kan få belöningen att kollapsa. MoE-modeller innebär ytterligare utmaningar med att få beräkningarna att stämma överens.

Oossa · 2026-10-01 · https://oossa.com/sv/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI rapporterar att en förstärkningsinlärningskörning med företagets GLM‑5.2-modell fick en kollaps i belöningen efter 20 steg när träningsmotorn och rolloutmotorn beräknade sannolikheten för token på olika sätt. När beräkningarna synkroniserades låg KL-divergensen på noll och belöningen var stabil under hela körningen på 25 steg. Teamet upptäckte också att små skillnader i hur expertutdata summeras i en Qwen‑3.5‑MoE-modell ledde till en stor k3-avvikelse. Det visar att MoE-routing kräver att både expertval och beräkningsprecision synkroniseras.

## Fakta

- GLM‑5.2-experiment: Utan numerisk synkronisering sjönk belöningen från ~0.9 till <0.2 vid steg 20. Med synkronisering förblev den stabil under 25 steg.
- Qwen‑3.5‑MoE-test: En k3-divergens på 0.296 (≈300× gränsvärdet 0.001) kunde härledas till precisionen vid aggregering av expertutdata.

## Varför det spelar roll

När tränings- och rolloutberäkningar stämmer överens kan ML-team undvika kostsamma misslyckade RL-körningar och skala upp förstärkningsinlärning på ett mer tillförlitligt sätt.

## Källor och referenser

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Senast uppdaterad: 2026-10-01