Google이 추론 엔진 vLLM과 SGLang에 PyTorch 백엔드를 도입해, 개발자가 익숙한 PyTorch 도구로 TPU 하드웨어에서 모델을 실행할 수 있게 됐다.
짧은 소식작성: OossaOossa 게시일: 최종 업데이트: 1 분 읽기
Google은 TorchTPU라는 네이티브 PyTorch 백엔드를 사용해 오픈소스 프로젝트 vLLM과 SGLang을 TPU에서 실행하는 새로운 추론 엔진을 발표했다. 이 엔진은 Inferact(vLLM), RadixArk(SGLang)와 공동 개발했으며, 이미 Meta 같은 기업의 프로덕션 워크로드를 처리하고 있다. 맞춤형 Pallas 커널과 KV 캐시 관리 등 TPU에 특화된 최적화를 적용해, PyTorch 사용자도 대규모·저지연 추론 서비스를 더 쉽게 운영하도록 하는 것이 목표다.
PyTorch 개발자는 이제 JAX로 전환하지 않고도 Google TPU 하드웨어에서 대규모 언어 모델의 빠르고 비용 효율적인 추론을 배포할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
모델
새로운 Forest Typology 2020 지도는 10미터 단위로 전 세계 토지를 자연림, 조림지, 농업용 산림 등으로 분류하고, 2017~2025년 연도별 변화를 보여준다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
