A Fireworks AI relata que, quando o treinador e o mecanismo de rollout calculam as probabilidades dos tokens de maneiras diferentes, uma execução de aprendizado por reforço (RL) com seu modelo GLM‑5.2 teve uma queda na recompensa após 20 etapas. O alinhamento dos cálculos manteve a divergência KL em zero e a recompensa estável durante toda a execução de 25 etapas. A equipe também descobriu que, em um modelo Qwen‑3.5‑MoE, pequenas diferenças na soma das saídas dos especialistas geraram uma grande divergência k3, mostrando que o roteamento MoE exige alinhamento tanto na seleção quanto na precisão.
Por que importa
Alinhar os cálculos do treinador e do mecanismo de rollout ajuda as equipes de ML a evitar execuções de RL malsucedidas e dispendiosas e a ampliar o aprendizado por reforço com mais confiabilidade.
