StepFun hat sein Step-5-Vorschaumodell mit offenen Gewichten veröffentlicht. Die Checkpoints in den Formaten FP8 und BF16 sind auf Hugging Face und ModelScope verfügbar. Das Modell ist ein sparsames Mixture-of-Experts-System (MoE) mit insgesamt 600 Milliarden Parametern, von denen pro Token nur 27 Milliarden aktiv sind. Es verarbeitet Kontexte mit bis zu 1 Million Token und ist auf agentische Aufgaben mit langem Planungshorizont ausgelegt.
Warum es wichtig ist
Entwickler können nun mit einem sehr großen Modell mit offenen Gewichten experimentieren, das deutlich längere Texteingaben unterstützt als typische LLMs.
