Iterate Studio Inc. ha rilasciato Lifeboat, un motore di inferenza per modelli linguistici di grandi dimensioni che include il confidential computing. L’azienda afferma che Lifeboat può gestire da due a sei volte più sessioni simultanee di agenti AI per GPU. In un test interno, una singola scheda Nvidia RTX PRO 6000 Blackwell ha gestito 2.048 sessioni, il doppio rispetto al valore di riferimento. Lifeboat utilizza una pianificazione equa, una cache key-value più ampia e capsule di sicurezza per ogni sessione. È disponibile una licenza gratuita per sviluppatori; il piano Standard a pagamento costa $49.99 / mese, mentre il piano Confidential Computing costa $499.99 / mese.
Perché conta
Banche, compagnie assicurative e sistemi sanitari possono eseguire più agenti AI sulle GPU che già possiedono, evitando di acquistare hardware aggiuntivo.
