# Fireworks发现数值不一致会导致强化学习训练崩溃

> Fireworks的一项实验显示，训练器与生成引擎的计算不一致会导致奖励骤降；MoE模型还面临额外的对齐难题。

Oossa · 2026-10-01 · https://oossa.com/zh/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI报告称，在其GLM‑5.2模型的一次强化学习训练中，训练器与生成引擎对token概率的计算方式不同，导致奖励在20步后崩溃。统一计算方式后，KL散度保持为零，奖励在整个25步训练过程中稳定不变。团队还发现，在Qwen‑3.5‑MoE模型中，专家输出求和方式的细微差异会造成显著的k3不匹配，这表明MoE路由不仅需要对齐专家选择方式，也需要对齐计算精度。

## 事实

- GLM‑5.2实验：未对齐数值计算时，奖励从约0.9降至第20步时的不足0.2；对齐后，奖励在25步训练过程中保持稳定。
- Qwen‑3.5‑MoE测试：k3散度为0.296（约为0.001阈值的300倍），问题源于专家输出聚合时的精度差异。

## 为什么重要

对齐训练器与生成引擎的计算方式，有助于机器学习团队避免代价高昂的强化学习训练失败，并更可靠地扩大强化学习的应用规模。

## 来源与参考

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

最后更新: 2026-10-01