Fireworks AI informa que, cuando el entrenador y el motor de generación calculan de forma distinta las probabilidades de los tokens, una ejecución de aprendizaje por refuerzo con su modelo GLM‑5.2 hizo que la recompensa se desplomara tras 20 pasos. Alinear los cálculos mantuvo en cero la divergencia KL y estabilizó la recompensa durante toda la ejecución de 25 pasos. El equipo también descubrió que, en un modelo Qwen‑3.5‑MoE, pequeñas diferencias en la suma de las salidas de los expertos provocaron un gran desajuste k3, lo que demuestra que el enrutamiento MoE requiere alinear tanto la selección como la precisión.
Por qué importa
Alinear los cálculos del entrenador y del motor de generación ayuda a los equipos de aprendizaje automático a evitar costosas ejecuciones fallidas de RL y a escalar el aprendizaje por refuerzo con mayor fiabilidad.
