# Fireworks: Sayısal uyumsuzluklar RL eğitimini bozabiliyor

> Fireworks’ın deneyi, eğitici ile rollout motorundaki hesaplama farklılıklarının ödülün çökmesine yol açtığını; MoE modellerinde ise ek uyum zorlukları bulunduğunu gösteriyor.

Oossa · 2026-10-01 · https://oossa.com/tr/fireworks-finds-numeric-mismatches-can-break-rl-training

Fireworks AI, eğitici ile rollout motoru token olasılıklarını farklı hesapladığında, GLM‑5.2 modeliyle yürütülen bir pekiştirmeli öğrenme çalışmasında ödülün 20 adımın ardından çöktüğünü bildirdi. Hesaplamalar eşitlendiğinde KL ıraksaması sıfırda kaldı ve ödül 25 adımlık çalışmanın tamamında istikrarını korudu. Ekip ayrıca Qwen‑3.5‑MoE modelinde, uzman çıktılarının toplanma biçimindeki küçük farklılıkların büyük bir k3 uyumsuzluğuna yol açtığını buldu. Bu da MoE yönlendirmesinde hem seçim hem de hassasiyet uyumunun gerektiğini gösteriyor.

## Gerçekler

- GLM‑5.2 deneyi: Sayısal uyum sağlanmadığında ödül 20. adımda ~0,9'dan <0,2'ye düştü; uyum sağlandığında 25 adım boyunca istikrarlı kaldı.
- Qwen‑3.5‑MoE testi: Uzman çıktılarının birleştirilmesindeki hassasiyete bağlanan k3 ıraksaması 0,296'ydı (0,001 eşiğinin yaklaşık 300 katı).

## Neden önemli

Eğitici ve rollout hesaplamalarını uyumlu hâle getirmek, ML ekiplerinin maliyetli ve başarısız RL çalışmalarından kaçınmasına, pekiştirmeli öğrenmeyi daha güvenilir biçimde ölçeklendirmesine yardımcı olur.

## Kaynaklar ve referanslar

1. [9/30/2026Reinforcement learning: Why alignment of numerics and MoE routing matter](https://fireworks.ai/blog/reinforcement-learning-why-alignment-of-numerics-and-MoE-routing-matter) – Fireworks AI

Son güncelleme: 2026-10-01