شرکت Iterate Studio Inc. نرم‌افزار Lifeboat را عرضه کرد؛ موتور استنتاجی برای مدل‌های زبانی بزرگ که رایانش محرمانه را هم دربر می‌گیرد. به گفته شرکت، Lifeboat می‌تواند روی هر GPU دو تا شش برابر نشست هم‌زمان عامل‌های هوش مصنوعی را میزبانی کند. در آزمایش خود شرکت، یک کارت Nvidia RTX PRO 6000 Blackwell توانست ۲٬۰۴۸ نشست را مدیریت کند؛ دو برابر خط مبنا. Lifeboat از زمان‌بندی منصفانه، حافظه نهان کلید‌ـ‌مقدار بزرگ‌تر و محفظه‌های امنیتی مجزا برای هر نشست استفاده می‌کند. مجوز رایگان توسعه‌دهندگان در دسترس است و طرح Standard با هزینه ماهانه $49.99 و طرح Confidential Computing با هزینه ماهانه $499.99 عرضه می‌شوند.
چرا مهم است
بانک‌ها، شرکت‌های بیمه و سامانه‌های سلامت می‌توانند با GPUهای فعلی خود عامل‌های هوش مصنوعی بیشتری اجرا کنند و از خرید سخت‌افزار اضافه بی‌نیاز شوند.
