Fireworks AI rapporte que, lorsque le moteur d’entraînement et celui de génération calculent différemment les probabilités des tokens, une session d’apprentissage par renforcement sur son modèle GLM‑5.2 a vu sa récompense s’effondrer après 20 étapes. L’alignement des calculs a maintenu la divergence KL à zéro et la récompense à un niveau stable pendant les 25 étapes de l’expérience. L’équipe a également constaté que, dans un modèle Qwen‑3.5‑MoE, de faibles différences dans la sommation des sorties des experts provoquaient un important écart k3, ce qui montre que le routage MoE nécessite d’aligner à la fois la sélection et la précision.
Pourquoi c'est important
Aligner les calculs des moteurs d’entraînement et de génération aide les équipes de ML à éviter des sessions d’apprentissage par renforcement coûteuses qui échouent et à déployer cette méthode de façon plus fiable.
