Deepgram hat sein Sprachtranskriptionsmodell Nova‑3 auf AWS-Trainium2-Chips portiert. Auf einer einzelnen trn2.3xlarge-Instanz laufen acht Modellreplikate. Bei Offline-Batch-Aufträgen wie der Analyse von Contact-Center-Daten verarbeitete Deepgram pro Dollar 11–70 % mehr Audio als mit den zuvor genutzten Rechenoptionen. Dafür kam TorchNeuron für PyTorch zum Einsatz; außerdem wurden Layer durch benutzerdefinierte Kernel ersetzt und eine Rust-Laufzeitumgebung entwickelt, um den Python-Overhead zu vermeiden.
Warum es wichtig ist
Kunden, die die API von Deepgram nutzen, können bei umfangreichen Batch-Aufträgen mit niedrigeren Transkriptionskosten rechnen.
