StepFun مدل پیش‌نمایش Step 5 را با وزن‌های در دسترس منتشر کرده است. نقاط‌وارسی در قالب‌های FP8 و BF16 در Hugging Face و ModelScope قرار گرفته‌اند. این مدل سامانه‌ای تنک از نوع Mixture-of-Experts (MoE) است که در مجموع 600 میلیارد پارامتر دارد، اما در هر توکن فقط 27 میلیارد پارامتر آن فعال است. این مدل می‌تواند بافت‌هایی تا 1 میلیون توکن را پردازش کند و برای وظایف عامل‌محورِ بلندمدت طراحی شده است.
چرا مهم است
توسعه‌دهندگان اکنون می‌توانند با مدلی بسیار بزرگ و دارای وزن‌های در دسترس کار کنند؛ مدلی که ورودی‌های متنی بسیار طولانی‌تری از مدل‌های زبانی بزرگ معمول پشتیبانی می‌کند.
