Deepgram heeft zijn spraakherkenningsmodel Nova‑3 overgezet naar AWS Trainium2-chips. De overgezette versie draait acht modelreplica’s op één trn2.3xlarge-instantie. Bij offline batchtaken, zoals analyses van contactcenters, verwerkte Deepgram 11–70 % meer audio per dollar dan met zijn eerdere rekenoplossingen. Daarvoor gebruikte het bedrijf TorchNeuron voor PyTorch, verving het lagen door aangepaste kernels en bouwde het een runtime in Rust om de overhead van Python te vermijden.
Waarom het ertoe doet
Klanten die de API van Deepgram gebruiken, kunnen rekenen op lagere transcriptiekosten bij batchtaken op grote schaal.
