# ناهماهنگی محاسباتی می‌تواند آموزش RL را مختل کند

> آزمایشی از Fireworks نشان می‌دهد تفاوت محاسبات میان آموزش‌دهنده و موتور اجرای رول‌اوت، پاداش را به‌شدت کاهش می‌دهد؛ مدل‌های MoE نیز چالش‌های بیشتری برای هم‌ترازی دارند.

Oossa · 2026-10-01 · https://oossa.com/fa/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI گزارش می‌دهد که وقتی آموزش‌دهنده و موتور اجرای رول‌اوت احتمال توکن‌ها را به شیوه‌های متفاوتی محاسبه می‌کنند، پاداش در اجرای یادگیری تقویتی روی مدل GLM‑5.2 پس از 20 گام سقوط کرد. هم‌تراز کردن محاسبات باعث شد واگرایی KL صفر بماند و پاداش در تمام اجرای 25 گامی پایدار باشد. این تیم همچنین دریافت که در مدل Qwen‑3.5‑MoE، تفاوت‌های جزئی در شیوه جمع‌کردن خروجی‌های متخصص‌ها، ناهماهنگی بزرگی در k3 ایجاد می‌کند؛ موضوعی که نشان می‌دهد مسیریابی MoE به هم‌ترازی هم در انتخاب و هم در دقت محاسبات نیاز دارد.

## حقایق

- آزمایش GLM‑5.2: بدون هم‌ترازی عددی، پاداش در گام 20 از حدود 0.9 به کمتر از 0.2 کاهش یافت؛ با هم‌ترازی، طی 25 گام پایدار ماند.
- آزمایش Qwen‑3.5‑MoE: واگرایی k3 برابر با 0.296 (حدود 300 برابر آستانه 0.001) بود که علت آن به دقت تجمیع خروجی متخصص‌ها نسبت داده شد.

## چرا مهم است

هم‌تراز کردن محاسبات آموزش‌دهنده و اجرای رول‌اوت به تیم‌های یادگیری ماشین کمک می‌کند از اجراهای ناموفق و پرهزینه یادگیری تقویتی جلوگیری کنند و این روش را با اطمینان بیشتری گسترش دهند.

## منابع و ارجاع‌ها

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

آخرین به‌روزرسانی: 2026-10-01