أطلقت Iterate Studio Inc. محرك Lifeboat للاستدلال بنماذج اللغة الكبيرة، ويتضمن حوسبة سرية. وتقول الشركة إن Lifeboat يستطيع استضافة عدد من جلسات وكلاء الذكاء الاصطناعي المتزامنة على كل GPU يزيد بمقدار يتراوح بين ضعفين وستة أضعاف. وفي اختبارها، عالجت بطاقة Nvidia RTX PRO 6000 Blackwell واحدة 2,048 جلسة، أي ضعف الرقم الأساسي. ويستخدم Lifeboat جدولة عادلة، وذاكرة تخزين مؤقت أكبر للقيم والمفاتيح، وحاويات أمنية منفصلة لكل جلسة. يتوفر ترخيص مجاني للمطورين، إلى جانب فئة Standard المدفوعة بسعر $49.99 / month وفئة Confidential Computing بسعر $499.99 / month.
لماذا يهم
يمكن للبنوك وشركات التأمين والأنظمة الصحية تشغيل مزيد من وكلاء الذكاء الاصطناعي على وحدات GPU الموجودة لديها، وتجنب شراء أجهزة إضافية.
