Iterate Studio Inc. lanzó Lifeboat, un motor de inferencia para modelos de lenguaje grandes que incorpora computación confidencial. La empresa afirma que Lifeboat puede alojar entre dos y seis veces más sesiones simultáneas de agentes de IA en cada GPU. En una prueba propia, una sola tarjeta Nvidia RTX PRO 6000 Blackwell gestionó 2.048 sesiones, el doble que la cifra de referencia. Lifeboat utiliza programación equitativa, una caché de clave-valor más grande y cápsulas de seguridad para cada sesión. Hay una licencia gratuita para desarrolladores; el plan Standard cuesta $49.99 al mes y el plan Confidential Computing, $499.99 al mes.
Por qué importa
Los bancos, las aseguradoras y los sistemas de salud pueden ejecutar más agentes de IA con las GPU que ya tienen y evitar comprar hardware adicional.
