A Deepgram migrou seu modelo de conversão de fala em texto Nova-3 para os chips AWS Trainium2. A versão portada executa oito réplicas do modelo em uma única instância trn2.3xlarge. Em tarefas offline em lote, como análises de centrais de atendimento, a Deepgram mediu um aumento de 11% a 70% na quantidade de áudio processado por dólar em comparação com suas opções de computação anteriores. O trabalho envolveu o uso do TorchNeuron para PyTorch, a substituição de camadas por kernels personalizados e a criação de um runtime em Rust para evitar a sobrecarga do Python.
Por que importa
Clientes que usam a API da Deepgram podem esperar custos menores de transcrição em tarefas em lote de grande escala.
