Deepgram은 음성 텍스트 변환 모델 Nova-3를 AWS Trainium2 칩으로 옮겼습니다. 이식한 모델은 trn2.3xlarge 인스턴스 하나에서 8개 복제본을 실행합니다. 콜센터 분석과 같은 오프라인 배치 작업에서 Deepgram은 이전 컴퓨팅 옵션보다 달러당 오디오 처리량이 11~70% 늘었다고 측정했습니다. 이번 작업에는 PyTorch용 TorchNeuron 사용, 맞춤형 커널로 레이어 교체, Python 오버헤드를 줄이기 위한 Rust 런타임 구축이 포함됐습니다.
왜 중요한가
Deepgram API를 사용하는 고객은 대규모 배치 작업에서 음성 텍스트 변환 비용이 낮아지는 효과를 기대할 수 있습니다.