Iterate Studio Inc. har släppt Lifeboat, en inferensmotor för stora språkmodeller med konfidentiell databehandling. Företaget uppger att Lifeboat kan hantera två till sex gånger så många samtidiga AI-agent-sessioner per GPU. I ett eget test klarade ett enda Nvidia RTX PRO 6000 Blackwell-kort 2,048 sessioner, dubbelt så många som baslinjen. Lifeboat använder rättvis schemaläggning, en större nyckel-värde-cache och säkerhetskapslar för varje session. En kostnadsfri utvecklarlicens finns tillgänglig. Standard kostar $49.99 / månad och Confidential Computing kostar $499.99 / månad.
Varför det spelar roll
Banker, försäkringsbolag och vårdsystem kan köra fler AI-agenter på befintliga GPU:er och slipper därmed köpa extra hårdvara.
