StepFunは、Step 5プレビューモデルの重みを公開した。FP8とBF16形式のチェックポイントは、Hugging FaceとModelScopeで入手できる。このモデルはスパースなMixture-of-Experts(MoE)方式を採用しており、総パラメーター数は600 billionだが、1トークンあたりに使われるのは27 billionにとどまる。最大1 millionトークンのコンテキストを扱え、長期的な計画を要するエージェントタスクを想定している。
なぜ重要か
開発者は、一般的なLLMよりはるかに長いテキスト入力に対応する大規模なオープンウェイトモデルを、試せるようになった。