Fireworks AI के मुताबिक, जब ट्रेनर और रोलआउट इंजन टोकन की संभावनाओं की गणना अलग-अलग तरीके से करते हैं, तो उसके GLM‑5.2 मॉडल पर रीइन्फोर्समेंट लर्निंग का एक रन 20 चरणों के बाद रिवॉर्ड में गिरावट के साथ ठप हो गया। गणनाओं में तालमेल रखने पर KL डाइवर्जेंस शून्य रहा और पूरे 25 चरणों के रन में रिवॉर्ड स्थिर रहा। टीम ने यह भी पाया कि Qwen‑3.5‑MoE मॉडल में एक्सपर्ट के आउटपुट को जोड़ने के तरीके में मामूली अंतर से k3 में बड़ा मिसमैच पैदा हुआ। इससे पता चला कि MoE रूटिंग में एक्सपर्ट के चयन और गणना की सटीकता—दोनों का तालमेल जरूरी है।
यह क्यों मायने रखता है
ट्रेनर और रोलआउट की गणनाओं में तालमेल से ML टीमें रीइन्फोर्समेंट लर्निंग के महंगे नाकाम रन से बच सकती हैं और इसे अधिक भरोसेमंद ढंग से बड़े पैमाने पर चला सकती हैं।
