Oossa

StepFun libera os pesos da prévia do Step 5

A StepFun publicou checkpoints em FP8 e BF16 de seu modelo Mixture-of-Experts com 600 bilhões de parâmetros, dos quais 27 bilhões são ativados por token, e contexto de até 1 milhão de tokens.

NotaPor Publicado pelo Oossa: 1 min de leitura

A StepFun disponibilizou os pesos abertos da versão de prévia do Step 5. Os checkpoints, nos formatos FP8 e BF16, estão no Hugging Face e no ModelScope. O modelo é um sistema esparso de Mixture-of-Experts (MoE), com 600 bilhões de parâmetros no total, mas apenas 27 bilhões ativos por token. Ele aceita contextos de até 1 milhão de tokens e foi projetado para tarefas agênticas de longo prazo.

Por que importa

Agora, desenvolvedores podem experimentar um modelo de pesos abertos de grande porte, capaz de processar entradas de texto muito mais longas do que as aceitas por LLMs típicos.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.