Iterate Studio Inc. heeft Lifeboat uitgebracht, een inferentie-engine voor grote taalmodellen met vertrouwelijke computing. Volgens het bedrijf kan Lifeboat per GPU twee tot zes keer zoveel gelijktijdige AI-agentsessies hosten. In een eigen test verwerkte één Nvidia RTX PRO 6000 Blackwell-kaart 2.048 sessies, twee keer zoveel als de uitgangswaarde. Lifeboat gebruikt eerlijke taakverdeling, een grotere key-valuecache en beveiligingscapsules per sessie. Er is een gratis ontwikkelaarslicentie beschikbaar. Daarnaast is er een Standard-abonnement voor $49.99 per maand en een abonnement met Confidential Computing voor $499.99 per maand.
Waarom het ertoe doet
Banken, verzekeraars en zorginstellingen kunnen meer AI-agents draaien op hun bestaande GPU’s en zo extra hardwareaankopen vermijden.
