Oossa

StepFun, Step 5 프리뷰 모델 가중치 공개

StepFun이 600 billion 파라미터 규모의 Mixture-of-Experts 모델 체크포인트를 FP8 및 BF16 형식으로 공개했다. 토큰당 활성 파라미터는 27 billion이며, 최대 1 million 토큰의 컨텍스트를 지원한다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

StepFun이 Step 5 프리뷰 모델의 가중치를 공개했다. FP8 및 BF16 형식의 체크포인트는 Hugging Face와 ModelScope에 올라와 있다. 이 모델은 전체 파라미터가 600 billion이고 토큰당 활성 파라미터는 27 billion인 희소 Mixture-of-Experts(MoE) 시스템이다. 최대 1 million 토큰의 컨텍스트를 처리할 수 있어 장기간에 걸친 에이전트 작업을 겨냥한다.

왜 중요한가

개발자들은 일반적인 LLM보다 훨씬 긴 입력을 지원하는 대규모 오픈 웨이트 모델을 이제 직접 시험해볼 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.