# Fireworks detecta divergências numéricas que podem prejudicar o treinamento de RL

> Um experimento da Fireworks mostra que cálculos desalinhados entre o treinador e o mecanismo de rollout fazem a recompensa desabar; modelos MoE trazem desafios adicionais de alinhamento.

Oossa · 2026-10-01 · https://oossa.com/pt/fireworks-finds-numeric-mismatches-can-break-rl-training

A Fireworks AI relata que, quando o treinador e o mecanismo de rollout calculam as probabilidades dos tokens de maneiras diferentes, uma execução de aprendizado por reforço (RL) com seu modelo GLM‑5.2 teve uma queda na recompensa após 20 etapas. O alinhamento dos cálculos manteve a divergência KL em zero e a recompensa estável durante toda a execução de 25 etapas. A equipe também descobriu que, em um modelo Qwen‑3.5‑MoE, pequenas diferenças na soma das saídas dos especialistas geraram uma grande divergência k3, mostrando que o roteamento MoE exige alinhamento tanto na seleção quanto na precisão.

## Os fatos

- Experimento com GLM‑5.2: sem alinhamento numérico, a recompensa caiu de ~0.9 para <0.2 na etapa 20; com alinhamento, permaneceu estável ao longo de 25 etapas.
- Teste com Qwen‑3.5‑MoE: divergência k3 de 0.296 (≈300× o limite de 0.001), atribuída à precisão da agregação das saídas dos especialistas.

## Por que importa

Alinhar os cálculos do treinador e do mecanismo de rollout ajuda as equipes de ML a evitar execuções de RL malsucedidas e dispendiosas e a ampliar o aprendizado por reforço com mais confiabilidade.

## Fontes e referências

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Última atualização: 2026-10-01