새 추론 엔진은 RTX PRO 6000 한 대에서 동시 세션 2,048개를 처리한다고 밝혔다. 기업은 추가 하드웨어를 구매하지 않고도 더 많은 에이전트를 운영할 수 있다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Iterate Studio Inc.가 기밀 컴퓨팅 기능을 갖춘 대규모 언어 모델 추론 엔진 Lifeboat를 출시했다. 회사는 Lifeboat가 GPU 한 대에서 동시에 처리할 수 있는 AI 에이전트 세션 수를 2~6배 늘릴 수 있다고 밝혔다. 자체 테스트에서는 Nvidia RTX PRO 6000 Blackwell 카드 한 대가 기준치의 두 배인 세션 2,048개를 처리했다. Lifeboat는 공정한 스케줄링, 더 큰 키-값 캐시, 세션별 보안 캡슐을 사용한다. 무료 개발자 라이선스를 제공하며, 유료 요금제는 Standard가 월 $49.99, Confidential Computing이 월 $499.99다.
은행, 보험사, 의료기관은 기존 GPU로 더 많은 AI 에이전트를 운영해 추가 하드웨어 구매를 피할 수 있다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
