Deepgram перенесла модель распознавания речи Nova‑3 на чипы AWS Trainium2. Теперь на одном экземпляре trn2.3xlarge запускаются восемь копий модели. При пакетной обработке в офлайн-режиме, например для аналитики обращений в контакт-центры, Deepgram зафиксировала рост объема обработанного аудио на доллар на 11–70% по сравнению с прежними вычислительными решениями. Для этого компания использовала TorchNeuron для PyTorch, заменила некоторые слои собственными ядрами и создала среду выполнения на Rust, чтобы избежать накладных расходов Python.
Почему это важно
Клиенты API Deepgram могут рассчитывать на снижение затрат на транскрибацию при крупномасштабной пакетной обработке.
