Iterate Studio Inc. выпустила Lifeboat — движок инференса для больших языковых моделей с поддержкой конфиденциальных вычислений. Компания утверждает, что Lifeboat позволяет обслуживать на каждом GPU в два-шесть раз больше одновременных сессий ИИ-агентов. В собственном тесте компании одна карта Nvidia RTX PRO 6000 Blackwell обработала 2 048 сессий — вдвое больше базового показателя. Lifeboat использует справедливое распределение ресурсов, увеличенный кеш «ключ — значение» и защищённые контейнеры для каждой сессии. Доступна бесплатная лицензия для разработчиков; платный тариф Standard стоит $49.99 / month, а тариф Confidential Computing — $499.99 / month.
Почему это важно
Банки, страховые компании и системы здравоохранения смогут запускать больше ИИ-агентов на имеющихся GPU, не покупая дополнительное оборудование.
