Iterate Studio Inc., gizli bilgi işlem özellikli büyük dil modeli çıkarım motoru Lifeboat’ı kullanıma sundu. Şirket, Lifeboat’ın her GPU’da aynı anda iki ila altı kat fazla yapay zekâ ajanı oturumunu barındırabildiğini söylüyor. Şirketin yaptığı bir testte tek bir Nvidia RTX PRO 6000 Blackwell kartı 2.048 oturumu çalıştırdı; bu, temel performansın iki katı. Lifeboat; adil zamanlama, daha büyük bir anahtar-değer önbelleği ve oturum başına güvenlik kapsülleri kullanıyor. Ücretsiz geliştirici lisansının yanı sıra aylık $49.99 fiyatlı Standard ve aylık $499.99 fiyatlı Confidential Computing katmanları da mevcut.
Neden önemli
Bankalar, sigorta şirketleri ve sağlık kuruluşları mevcut GPU’larında daha fazla yapay zekâ ajanı çalıştırarak ek donanım satın alma ihtiyacını önleyebilir.
