Fireworks AI, eğitici ile rollout motoru token olasılıklarını farklı hesapladığında, GLM‑5.2 modeliyle yürütülen bir pekiştirmeli öğrenme çalışmasında ödülün 20 adımın ardından çöktüğünü bildirdi. Hesaplamalar eşitlendiğinde KL ıraksaması sıfırda kaldı ve ödül 25 adımlık çalışmanın tamamında istikrarını korudu. Ekip ayrıca Qwen‑3.5‑MoE modelinde, uzman çıktılarının toplanma biçimindeki küçük farklılıkların büyük bir k3 uyumsuzluğuna yol açtığını buldu. Bu da MoE yönlendirmesinde hem seçim hem de hassasiyet uyumunun gerektiğini gösteriyor.
Neden önemli
Eğitici ve rollout hesaplamalarını uyumlu hâle getirmek, ML ekiplerinin maliyetli ve başarısız RL çalışmalarından kaçınmasına, pekiştirmeli öğrenmeyi daha güvenilir biçimde ölçeklendirmesine yardımcı olur.
