StepFun met à disposition en poids ouverts son modèle Step 5 en version préliminaire. Les checkpoints, aux formats FP8 et BF16, sont publiés sur Hugging Face et ModelScope. Ce modèle est un système sparse de type Mixture of Experts (MoE), avec 600 milliards de paramètres au total, dont seulement 27 milliards sont actifs par token. Il peut traiter des contextes allant jusqu’à 1 million de tokens et vise les tâches agentiques de longue durée.
Pourquoi c'est important
Les développeurs peuvent désormais expérimenter un modèle à poids ouverts de très grande taille, capable de traiter des textes bien plus longs que les LLM habituels.
