StepFun이 Step 5 프리뷰 모델의 가중치를 공개했다. FP8 및 BF16 형식의 체크포인트는 Hugging Face와 ModelScope에 올라와 있다. 이 모델은 전체 파라미터가 600 billion이고 토큰당 활성 파라미터는 27 billion인 희소 Mixture-of-Experts(MoE) 시스템이다. 최대 1 million 토큰의 컨텍스트를 처리할 수 있어 장기간에 걸친 에이전트 작업을 겨냥한다.
왜 중요한가
개발자들은 일반적인 LLM보다 훨씬 긴 입력을 지원하는 대규모 오픈 웨이트 모델을 이제 직접 시험해볼 수 있다.