Fireworks AI riferisce che, quando il trainer e il motore di rollout calcolano le probabilità dei token in modo diverso, una sessione di reinforcement learning sul modello GLM‑5.2 ha visto crollare la ricompensa dopo 20 passaggi. Allineare i calcoli ha mantenuto la divergenza KL a zero e la ricompensa stabile per tutti i 25 passaggi. Il team ha anche scoperto che, in un modello Qwen‑3.5‑MoE, piccole differenze nel modo in cui vengono sommati i risultati degli esperti hanno generato un forte disallineamento k3, mostrando che il routing MoE richiede di allineare sia la selezione sia la precisione.
Perché conta
Allineare i calcoli del trainer e del motore di rollout permette ai team di machine learning di evitare costose sessioni di RL fallite e di scalare l’apprendimento per rinforzo con maggiore affidabilità.
