# Fireworks : des écarts de calcul peuvent faire échouer l’entraînement RL

> Une expérience de Fireworks montre que des calculs différents entre le moteur d’entraînement et celui de génération font chuter la récompense. Les modèles MoE posent aussi des défis d’alignement supplémentaires.

Oossa · 2026-10-01 · https://oossa.com/fr/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI rapporte que, lorsque le moteur d’entraînement et celui de génération calculent différemment les probabilités des tokens, une session d’apprentissage par renforcement sur son modèle GLM‑5.2 a vu sa récompense s’effondrer après 20 étapes. L’alignement des calculs a maintenu la divergence KL à zéro et la récompense à un niveau stable pendant les 25 étapes de l’expérience. L’équipe a également constaté que, dans un modèle Qwen‑3.5‑MoE, de faibles différences dans la sommation des sorties des experts provoquaient un important écart k3, ce qui montre que le routage MoE nécessite d’aligner à la fois la sélection et la précision.

## Les faits

- Expérience GLM‑5.2 : sans alignement numérique, la récompense est passée d’environ 0,9 à moins de 0,2 à l’étape 20 ; avec alignement, elle est restée stable pendant 25 étapes.
- Test Qwen‑3.5‑MoE : divergence k3 de 0,296 (environ 300 fois le seuil de 0,001), attribuée à la précision de l’agrégation des sorties des experts.

## Pourquoi c'est important

Aligner les calculs des moteurs d’entraînement et de génération aide les équipes de ML à éviter des sessions d’apprentissage par renforcement coûteuses qui échouent et à déployer cette méthode de façon plus fiable.

## Sources et références

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Dernière mise à jour: 2026-10-01