استخدمت i14 رقاقات AWS Trainium2 وTorchNeuron Native لتدريب نموذج الانتباه الخطي Laplace 3B وتشغيله. وعلى مثيل واحد من نوع trn2.48xlarge، بلغ معدل تدريب النموذج نحو 120,000 رمز في الثانية، واستطاع توليد 11,544 رمزًا في الثانية عبر 1,280 تسلسلاً متزامنًا. وتبقي البنية حالة الاستدلال ثابتة عند 29.5 MB لكل تسلسل، بصرف النظر عن طول السياق.
لماذا يهم
يتيح استهلاك الذاكرة القابل للتوقع لوكلاء الذكاء الاصطناعي الذين يعملون لفترات طويلة معالجة نصوص أكبر بكثير من دون زيادة التكاليف.