IBM과 Red Hat, 파트너사들이 QoS, 무중단 업그레이드, 캐시 라우팅 기능을 갖춘 llm-d 버전 1.0을 출시했다. 기업은 대규모 모델을 직접 호스팅해 운영할 수 있다.
짧은 소식작성: OossaOossa 게시일: 최종 업데이트: 1 분 읽기
IBM과 협력사들은 2026년 10월 20일 PyTorch Conference에서 오픈소스 llm-d 프레임워크 버전 1.0을 발표했다. 이번 업데이트에는 서비스 과부하 없이 자체 Kubernetes 클러스터에서 대규모 언어 모델을 실행할 수 있도록 서비스 품질(QoS) 제어, 무중단 업그레이드, 개선된 캐시 라우팅 기능이 추가됐다. IBM은 자체 호스팅 하드웨어에서 코딩 에이전트 3,000개를 실행한 시연에서 호스팅 모델을 이용할 때보다 비용을 5~10배 낮췄다고 밝혔다. 이 프레임워크는 vLLM, SGLang 등의 추론 엔진과 함께 사용할 수 있다.
기업은 AI 작업을 자체 환경에서 처리해 클라우드 비용을 줄이고 단일 공급자에 대한 의존을 피할 수 있다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
