A Iterate Studio Inc. lançou o Lifeboat, um motor de inferência para grandes modelos de linguagem que inclui computação confidencial. Segundo a empresa, o Lifeboat pode hospedar de duas a seis vezes mais sessões simultâneas de agentes de IA em cada GPU. Em um teste próprio, uma única placa Nvidia RTX PRO 6000 Blackwell processou 2.048 sessões, o dobro do resultado de referência. O Lifeboat usa escalonamento justo, um cache de chave-valor maior e cápsulas de segurança para cada sessão. Há uma licença gratuita para desenvolvedores, além do plano Standard, por $49.99 / mês, e do plano Confidential Computing, por $499.99 / mês.
Por que importa
Bancos, seguradoras e sistemas de saúde podem executar mais agentes de IA nas GPUs que já possuem, evitando a compra de hardware adicional.
