Oossa

StepFun、Step 5プレビューモデルの重みを公開

StepFunは、総パラメーター数600 billionのMixture-of-ExpertsモデルのFP8およびBF16チェックポイントを公開した。1トークンあたりのアクティブパラメーター数は27 billionで、最大1 millionトークンのコンテキストに対応する。

短信著者: Oossa公開日: 1 分で読める

StepFunは、Step 5プレビューモデルの重みを公開した。FP8とBF16形式のチェックポイントは、Hugging FaceとModelScopeで入手できる。このモデルはスパースなMixture-of-Experts(MoE)方式を採用しており、総パラメーター数は600 billionだが、1トークンあたりに使われるのは27 billionにとどまる。最大1 millionトークンのコンテキストを扱え、長期的な計画を要するエージェントタスクを想定している。

なぜ重要か

開発者は、一般的なLLMよりはるかに長いテキスト入力に対応する大規模なオープンウェイトモデルを、試せるようになった。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。