Deepgram adaptó su modelo de conversión de voz a texto Nova-3 para los chips Trainium2 de AWS. La versión adaptada ejecuta ocho réplicas del modelo en una sola instancia trn2.3xlarge. En tareas por lotes sin conexión, como el análisis de centros de atención telefónica, Deepgram midió entre un 11 % y un 70 % más de audio procesado por dólar que con sus opciones de cómputo anteriores. Para lograrlo, usó TorchNeuron para PyTorch, reemplazó capas por kernels personalizados y creó un entorno de ejecución en Rust para evitar la sobrecarga de Python.
Por qué importa
Los clientes que usan la API de Deepgram pueden esperar menores costos de transcripción en tareas por lotes a gran escala.
