أفادت Fireworks AI بأن اختلاف طريقة حساب احتمالات الرموز بين أداة التدريب ومحرك التنفيذ أدى إلى انهيار المكافأة بعد 20 خطوة في تشغيل للتعلم المعزز على نموذجها GLM‑5.2. وأبقى توحيد الحسابات تباعد KL عند الصفر والمكافأة مستقرة طوال التشغيل المؤلف من 25 خطوة. واكتشف الفريق أيضًا أن فروقًا طفيفة في طريقة جمع مخرجات الخبراء في نموذج Qwen‑3.5‑MoE أحدثت تفاوتًا كبيرًا في k3، ما يبيّن أن توجيه MoE يتطلب مزامنة كل من الاختيار والدقة الحسابية.
لماذا يهم
تتيح مزامنة حسابات أداة التدريب ومحرك التنفيذ لفرق تعلم الآلة تجنب إخفاقات تشغيل التعلم المعزز المكلفة، والتوسع فيه بمزيد من الموثوقية.
