StepFun heeft zijn previewmodel Step 5 beschikbaar gemaakt als open weights. De checkpoints, in FP8- en BF16-formaat, zijn te vinden op Hugging Face en ModelScope. Het model is een sparse Mixture-of-Experts-systeem (MoE) met in totaal 600 miljard parameters, waarvan er per token slechts 27 miljard actief zijn. Het kan overweg met contexten tot 1 miljoen tokens en is bedoeld voor agentische taken met een lange horizon.
Waarom het ertoe doet
Ontwikkelaars kunnen nu experimenteren met een zeer groot model met open gewichten, dat veel langere tekstdelen aankan dan gebruikelijke LLM’s.
