Oossa

i14 يدرّب Laplace 3B على Trainium2 بسرعة 120 ألف رمز/ثانية

دُرّب نموذج الانتباه الخطي، البالغ حجمه 3 مليارات مَعلمة، بسرعة 120,000 رمز في الثانية، وولّد 11,544 رمزًا في الثانية على مثيل trn2.48xlarge.

خبر موجزبقلم نشرته Oossa: 1 دقائق قراءة

استخدمت i14 رقاقات AWS Trainium2 وTorchNeuron Native لتدريب نموذج الانتباه الخطي Laplace 3B وتشغيله. وعلى مثيل واحد من نوع trn2.48xlarge، بلغ معدل تدريب النموذج نحو 120,000 رمز في الثانية، واستطاع توليد 11,544 رمزًا في الثانية عبر 1,280 تسلسلاً متزامنًا. وتبقي البنية حالة الاستدلال ثابتة عند 29.5 MB لكل تسلسل، بصرف النظر عن طول السياق.

لماذا يهم

يتيح استهلاك الذاكرة القابل للتوقع لوكلاء الذكاء الاصطناعي الذين يعملون لفترات طويلة معالجة نصوص أكبر بكثير من دون زيادة التكاليف.

هل كان هذا المقال مفيدًا؟
مشاركة

اقرأ أيضًا

Oossa · النشرة البريدية

أسبوع الذكاء الاصطناعي، مشروحًا

كل يوم اثنين: الأخبار التي تستحق المعرفة، بلغة بسيطة. مجانًا وبلا رسائل مزعجة.