Iterate Studio Inc. ने Lifeboat जारी किया है। यह बड़े भाषा मॉडल के लिए इनफरेंस इंजन है, जिसमें गोपनीय कंप्यूटिंग की सुविधा भी शामिल है। कंपनी का कहना है कि Lifeboat हर GPU पर एक साथ दो से छह गुना अधिक AI एजेंट सेशन चला सकता है। कंपनी के अपने परीक्षण में एक Nvidia RTX PRO 6000 Blackwell कार्ड ने 2,048 सेशन संभाले—जो सामान्य क्षमता से दोगुने थे। Lifeboat में निष्पक्ष शेड्यूलिंग, बड़ा की-वैल्यू कैश और हर सेशन के लिए अलग सुरक्षा कैप्सूल का इस्तेमाल होता है। डेवलपर लाइसेंस मुफ्त उपलब्ध है। Standard प्लान की कीमत $49.99 / महीना और Confidential Computing प्लान की $499.99 / महीना है।
यह क्यों मायने रखता है
बैंक, बीमा कंपनियां और स्वास्थ्य प्रणालियां मौजूदा GPU पर अधिक AI एजेंट चला सकती हैं और अतिरिक्त हार्डवेयर खरीदने से बच सकती हैं।
