Iterate Studio Inc.は、コンフィデンシャルコンピューティング機能を備えた大規模言語モデル向け推論エンジン「Lifeboat」をリリースした。同社によると、LifeboatはGPUごとに、同時に稼働するAIエージェントのセッション数を2~6倍に増やせるという。同社独自のテストでは、Nvidia RTX PRO 6000 Blackwell 1枚で2,048セッションを処理し、従来の2倍を達成した。Lifeboatは、公平なスケジューリング、大容量のキー・バリューキャッシュ、セッションごとのセキュリティカプセルを採用している。開発者向けの無料ライセンスのほか、有料プランとしてStandard(月額$49.99)とConfidential Computing(月額$499.99)が用意されている。
なぜ重要か
銀行、保険会社、医療機関は、既存のGPUでより多くのAIエージェントを稼働させ、ハードウェアの追加購入を避けられる。