StepFun ने अपने Step 5 प्रीव्यू मॉडल के वेट खुले तौर पर उपलब्ध करा दिए हैं। FP8 और BF16 फ़ॉर्मैट वाले चेकपॉइंट Hugging Face और ModelScope पर उपलब्ध हैं। यह एक विरल Mixture-of-Experts (MoE) सिस्टम है, जिसमें कुल 600 बिलियन पैरामीटर हैं, लेकिन हर टोकन पर सिर्फ़ 27 बिलियन सक्रिय रहते हैं। यह 1 मिलियन टोकन तक का कॉन्टेक्स्ट संभाल सकता है और लंबे समय तक चलने वाले एजेंट-आधारित कार्यों के लिए बनाया गया है।
यह क्यों मायने रखता है
डेवलपर अब ऐसे बेहद बड़े, खुले वेट वाले मॉडल के साथ प्रयोग कर सकते हैं, जो आम LLM की तुलना में बहुत लंबे टेक्स्ट इनपुट संभालता है।
