Fireworks AI گزارش می‌دهد که وقتی آموزش‌دهنده و موتور اجرای رول‌اوت احتمال توکن‌ها را به شیوه‌های متفاوتی محاسبه می‌کنند، پاداش در اجرای یادگیری تقویتی روی مدل GLM‑5.2 پس از 20 گام سقوط کرد. هم‌تراز کردن محاسبات باعث شد واگرایی KL صفر بماند و پاداش در تمام اجرای 25 گامی پایدار باشد. این تیم همچنین دریافت که در مدل Qwen‑3.5‑MoE، تفاوت‌های جزئی در شیوه جمع‌کردن خروجی‌های متخصص‌ها، ناهماهنگی بزرگی در k3 ایجاد می‌کند؛ موضوعی که نشان می‌دهد مسیریابی MoE به هم‌ترازی هم در انتخاب و هم در دقت محاسبات نیاز دارد.
چرا مهم است
هم‌تراز کردن محاسبات آموزش‌دهنده و اجرای رول‌اوت به تیم‌های یادگیری ماشین کمک می‌کند از اجراهای ناموفق و پرهزینه یادگیری تقویتی جلوگیری کنند و این روش را با اطمینان بیشتری گسترش دهند.
