Iterate Studio Inc.发布了Lifeboat，这是一款支持机密计算的大语言模型推理引擎。该公司称，Lifeboat在每块GPU上可承载的并发AI代理会话数是原来的2至6倍。在该公司自己的测试中，单块Nvidia RTX PRO 6000 Blackwell显卡处理了2,048个会话，是基准水平的两倍。Lifeboat采用公平调度、更大的键值缓存，以及针对单个会话的安全隔离舱。开发者可免费使用；付费的Standard档每月收费$49.99，Confidential Computing档每月收费$499.99。
为什么重要
银行、保险公司和医疗系统可以利用现有GPU运行更多AI代理，避免额外购置硬件。
