Oossa

Iterate.ai、GPUあたり最大6倍のAIエージェントを実行できる「Lifeboat」を発表

新しい推論エンジンは、1台のRTX PRO 6000で2,048セッションを同時に処理できるとうたう。企業はハードウェアを追加購入せずに、より多くのエージェントを運用できる。

短信著者: Oossa公開日: 1 分で読める

Iterate Studio Inc.は、コンフィデンシャルコンピューティング機能を備えた大規模言語モデル向け推論エンジン「Lifeboat」をリリースした。同社によると、LifeboatはGPUごとに、同時に稼働するAIエージェントのセッション数を2~6倍に増やせるという。同社独自のテストでは、Nvidia RTX PRO 6000 Blackwell 1枚で2,048セッションを処理し、従来の2倍を達成した。Lifeboatは、公平なスケジューリング、大容量のキー・バリューキャッシュ、セッションごとのセキュリティカプセルを採用している。開発者向けの無料ライセンスのほか、有料プランとしてStandard(月額$49.99)とConfidential Computing(月額$499.99)が用意されている。

なぜ重要か

銀行、保険会社、医療機関は、既存のGPUでより多くのAIエージェントを稼働させ、ハードウェアの追加購入を避けられる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。