# Fireworks: اختلاف الحسابات قد يُفشل تدريب التعلم المعزز

> تُظهر تجربة من Fireworks أن عدم تطابق الحسابات بين أداة التدريب ومحرك التنفيذ يؤدي إلى انهيار المكافأة، فيما تفرض نماذج MoE تحديات إضافية للمزامنة.

Oossa · 2026-10-01 · https://oossa.com/ar/fireworks-finds-numeric-mismatches-can-break-rl-training

أفادت Fireworks AI بأن اختلاف طريقة حساب احتمالات الرموز بين أداة التدريب ومحرك التنفيذ أدى إلى انهيار المكافأة بعد 20 خطوة في تشغيل للتعلم المعزز على نموذجها GLM‑5.2. وأبقى توحيد الحسابات تباعد KL عند الصفر والمكافأة مستقرة طوال التشغيل المؤلف من 25 خطوة. واكتشف الفريق أيضًا أن فروقًا طفيفة في طريقة جمع مخرجات الخبراء في نموذج Qwen‑3.5‑MoE أحدثت تفاوتًا كبيرًا في k3، ما يبيّن أن توجيه MoE يتطلب مزامنة كل من الاختيار والدقة الحسابية.

## الحقائق

- تجربة GLM‑5.2: انخفضت المكافأة من نحو 0.9 إلى أقل من 0.2 عند الخطوة 20 من دون مزامنة عددية، وظلت مستقرة مع المزامنة على مدى 25 خطوة.
- اختبار Qwen‑3.5‑MoE: بلغ تباعد k3 مقدار 0.296 (نحو 300 ضعف عتبة 0.001)، وعُزي ذلك إلى دقة تجميع مخرجات الخبراء.

## لماذا يهم

تتيح مزامنة حسابات أداة التدريب ومحرك التنفيذ لفرق تعلم الآلة تجنب إخفاقات تشغيل التعلم المعزز المكلفة، والتوسع فيه بمزيد من الموثوقية.

## المصادر والمراجع

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

آخر تحديث: 2026-10-01