StepFun открыла веса предварительной версии модели Step 5. Контрольные точки в форматах FP8 и BF16 опубликованы на Hugging Face и ModelScope. Это разреженная модель типа «смесь экспертов» (MoE) с 600 миллиардами параметров, из которых для каждого токена активны только 27 миллиардов. Модель поддерживает контекст до 1 миллиона токенов и предназначена для агентных задач с длительным горизонтом планирования.
Почему это важно
Разработчики могут экспериментировать с очень крупной моделью с открытыми весами, которая обрабатывает значительно более длинные тексты, чем типичные большие языковые модели.
