Deepgram借助AWS Trainium2将语音转文字成本降低11%至70%

Deepgram将其Nova-3语音转文字模型迁移至AWS Trainium2芯片。在单个trn2.3xlarge实例上，这一移植版本可运行8个模型副本。对于联络中心分析等离线批处理任务，Deepgram测得，相比此前使用的计算方案，每美元可处理的音频量提升了11%至70%。这项工作包括使用TorchNeuron支持PyTorch、通过自定义内核替换部分层，以及构建Rust运行时以避免Python带来的开销。