Oossa

StepFun تتيح أوزان المعاينة Step 5

نشرت StepFun نقاط تحقق بصيغتي FP8 وBF16 لنموذجها Mixture-of-Experts ذي 600 مليار معلمة، الذي يستخدم 27 مليار معلمة نشطة لكل رمز ويدعم سياقًا يصل إلى 1 مليون رمز.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

أتاحت StepFun نموذج المعاينة Step 5 بأوزان مفتوحة. ونشرت نقاط التحقق بصيغتي FP8 وBF16 على Hugging Face وModelScope. النموذج نظام sparse Mixture-of-Experts (MoE) يضم 600 مليار معلمة إجمالًا، لكن النشط منها لا يتجاوز 27 مليارًا لكل رمز. ويمكنه التعامل مع سياقات تصل إلى 1 مليون رمز، وهو مصمم لمهام الوكلاء طويلة الأمد.

لماذا يهم

بات بإمكان المطورين تجربة نموذج ضخم مفتوح الأوزان يدعم مدخلات نصية أطول بكثير مما تدعمه نماذج اللغة الكبيرة المعتادة.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.