Deepgram、AWS Trainium2で音声文字起こしコストを11～70％削減

Deepgramは、音声文字起こしモデルNova-3をAWS Trainium2チップに移植した。1台のtrn2.3xlargeインスタンスで、モデルのレプリカを8つ稼働させている。コンタクトセンター分析などのオフラインのバッチ処理では、従来のコンピューティング環境と比べ、1ドルあたりに処理できる音声量が11～70％増えたという。移植では、PyTorch向けのTorchNeuronを使用し、レイヤーの一部をカスタムカーネルに置き換えたほか、Pythonのオーバーヘッドを避けるためにRustランタイムを構築した。