# गणना में अंतर से RL ट्रेनिंग का रिवॉर्ड ढह सकता है: Fireworks

> Fireworks के एक प्रयोग में पता चला कि ट्रेनर और रोलआउट इंजन की गणनाओं में तालमेल न होने से रिवॉर्ड गिर सकता है। MoE मॉडल में तालमेल की अतिरिक्त चुनौतियां भी हैं।

Oossa · 2026-10-01 · https://oossa.com/hi/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI के मुताबिक, जब ट्रेनर और रोलआउट इंजन टोकन की संभावनाओं की गणना अलग-अलग तरीके से करते हैं, तो उसके GLM‑5.2 मॉडल पर रीइन्फोर्समेंट लर्निंग का एक रन 20 चरणों के बाद रिवॉर्ड में गिरावट के साथ ठप हो गया। गणनाओं में तालमेल रखने पर KL डाइवर्जेंस शून्य रहा और पूरे 25 चरणों के रन में रिवॉर्ड स्थिर रहा। टीम ने यह भी पाया कि Qwen‑3.5‑MoE मॉडल में एक्सपर्ट के आउटपुट को जोड़ने के तरीके में मामूली अंतर से k3 में बड़ा मिसमैच पैदा हुआ। इससे पता चला कि MoE रूटिंग में एक्सपर्ट के चयन और गणना की सटीकता—दोनों का तालमेल जरूरी है।

## तथ्य

- GLM‑5.2 प्रयोग: गणनाओं में तालमेल नहीं होने पर 20वें चरण में रिवॉर्ड ~0.9 से गिरकर <0.2 हो गया; तालमेल रखने पर 25 चरणों तक स्थिर रहा।
- Qwen‑3.5‑MoE परीक्षण: k3 डाइवर्जेंस 0.296 था (0.001 की सीमा से लगभग 300× ज्यादा); इसकी वजह एक्सपर्ट आउटपुट को जोड़ने में सटीकता का अंतर था।

## यह क्यों मायने रखता है

ट्रेनर और रोलआउट की गणनाओं में तालमेल से ML टीमें रीइन्फोर्समेंट लर्निंग के महंगे नाकाम रन से बच सकती हैं और इसे अधिक भरोसेमंद ढंग से बड़े पैमाने पर चला सकती हैं।

## स्रोत और संदर्भ

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

अंतिम अपडेट: 2026-10-01