Fireworks发现数值不一致会导致强化学习训练崩溃

Fireworks AI报告称，在其GLM‑5.2模型的一次强化学习训练中，训练器与生成引擎对token概率的计算方式不同，导致奖励在20步后崩溃。统一计算方式后，KL散度保持为零，奖励在整个25步训练过程中稳定不变。团队还发现，在Qwen‑3.5‑MoE模型中，专家输出求和方式的细微差异会造成显著的k3不匹配，这表明MoE路由不仅需要对齐专家选择方式，也需要对齐计算精度。