Iterate Studio Inc. hat Lifeboat veröffentlicht, eine Inference-Engine für große Sprachmodelle mit vertraulicher Datenverarbeitung. Laut Unternehmen kann Lifeboat pro GPU zwei- bis sechsmal so viele KI-Agenten-Sitzungen gleichzeitig ausführen. In einem eigenen Test bewältigte eine einzelne Nvidia RTX PRO 6000 Blackwell 2.048 Sitzungen – doppelt so viele wie im Vergleichswert. Lifeboat nutzt eine faire Sitzungsplanung, einen größeren Key-Value-Cache und Sicherheitskapseln für einzelne Sitzungen. Eine kostenlose Entwicklerlizenz ist verfügbar. Die kostenpflichtige Standard-Version kostet $49.99 / Monat, die Version mit Confidential Computing $499.99 / Monat.
Warum es wichtig ist
Banken, Versicherer und Gesundheitssysteme können mehr KI-Agenten auf vorhandenen GPUs betreiben und so zusätzliche Hardwareanschaffungen vermeiden.
