# Fireworks: disallineamenti numerici possono compromettere l’addestramento RL

> Un esperimento di Fireworks mostra che calcoli non allineati tra il trainer e il motore di rollout fanno crollare la ricompensa; i modelli MoE aggiungono ulteriori difficoltà di allineamento.

Oossa · 2026-10-01 · https://oossa.com/it/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI riferisce che, quando il trainer e il motore di rollout calcolano le probabilità dei token in modo diverso, una sessione di reinforcement learning sul modello GLM‑5.2 ha visto crollare la ricompensa dopo 20 passaggi. Allineare i calcoli ha mantenuto la divergenza KL a zero e la ricompensa stabile per tutti i 25 passaggi. Il team ha anche scoperto che, in un modello Qwen‑3.5‑MoE, piccole differenze nel modo in cui vengono sommati i risultati degli esperti hanno generato un forte disallineamento k3, mostrando che il routing MoE richiede di allineare sia la selezione sia la precisione.

## I fatti

- Esperimento GLM‑5.2: senza allineamento numerico, la ricompensa è scesa da ~0.9 a <0.2 al passaggio 20; con l’allineamento è rimasta stabile per 25 passaggi.
- Test Qwen‑3.5‑MoE: divergenza k3 di 0.296 (≈300× la soglia di 0.001), ricondotta alla precisione nell’aggregazione dei risultati degli esperti.

## Perché conta

Allineare i calcoli del trainer e del motore di rollout permette ai team di machine learning di evitare costose sessioni di RL fallite e di scalare l’apprendimento per rinforzo con maggiore affidabilità.

## Fonti e riferimenti

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Ultimo aggiornamento: 2026-10-01