Iterate Studio Inc. a lancé Lifeboat, un moteur d’inférence pour les grands modèles de langage intégrant l’informatique confidentielle. L’entreprise affirme que Lifeboat peut héberger deux à six fois plus de sessions simultanées d’agents IA sur chaque GPU. Lors de son propre test, une seule carte Nvidia RTX PRO 6000 Blackwell a traité 2 048 sessions, soit le double du niveau de référence. Lifeboat utilise une planification équitable, un cache clé-valeur plus grand et des capsules de sécurité par session. Une licence gratuite pour les développeurs est proposée, ainsi qu’une formule Standard payante à $49.99 / month et une formule Confidential Computing à $499.99 / month.
Pourquoi c'est important
Les banques, les assureurs et les systèmes de santé peuvent exécuter davantage d’agents IA sur les GPU qu’ils possèdent déjà, sans acheter de matériel supplémentaire.
