StepFun, Step 5 önizleme modelini açık ağırlıklarla erişime sundu. FP8 ve BF16 biçimlerindeki kontrol noktaları Hugging Face ve ModelScope’ta yayımlandı. Model, toplam 600 milyar parametreye sahip, ancak token başına yalnızca 27 milyar parametreyi etkinleştiren seyrek bir Mixture-of-Experts (MoE) sistemi. Uzun vadeli ajan görevleri için tasarlanan model, 1 milyon tokene kadar bağlamı işleyebiliyor.
Neden önemli
Geliştiriciler artık alışılmış LLM’lere kıyasla çok daha uzun metin girdilerini destekleyen, son derece büyük ve açık ağırlıklı bir modeli deneyebilecek.
