Oossa

Deepgram, AWS Trainium2로 음성 텍스트 변환 비용 11~70% 절감

Nova-3 모델을 AWS Trainium2 칩으로 옮겨 배치 작업에서 달러당 처리하는 오디오 양을 늘렸습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Deepgram은 음성 텍스트 변환 모델 Nova-3를 AWS Trainium2 칩으로 옮겼습니다. 이식한 모델은 trn2.3xlarge 인스턴스 하나에서 8개 복제본을 실행합니다. 콜센터 분석과 같은 오프라인 배치 작업에서 Deepgram은 이전 컴퓨팅 옵션보다 달러당 오디오 처리량이 11~70% 늘었다고 측정했습니다. 이번 작업에는 PyTorch용 TorchNeuron 사용, 맞춤형 커널로 레이어 교체, Python 오버헤드를 줄이기 위한 Rust 런타임 구축이 포함됐습니다.

왜 중요한가

Deepgram API를 사용하는 고객은 대규모 배치 작업에서 음성 텍스트 변환 비용이 낮아지는 효과를 기대할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.