Deepgram ha trasferito il suo modello di trascrizione da voce a testo Nova‑3 sui chip AWS Trainium2. L’implementazione esegue otto repliche del modello su una singola istanza trn2.3xlarge. Nei processi batch offline, come l’analisi dei contact center, Deepgram ha misurato una quantità di audio elaborata per dollaro superiore dell’11–70% rispetto alle precedenti opzioni di calcolo. Il lavoro ha richiesto l’uso di TorchNeuron per PyTorch, la sostituzione di alcuni layer con kernel personalizzati e la creazione di un runtime in Rust per evitare i costi aggiuntivi di Python.
Perché conta
I clienti che usano l’API di Deepgram possono aspettarsi costi di trascrizione inferiori per i carichi di lavoro batch su larga scala.
