Deepgram a porté son modèle de transcription vocale Nova‑3 sur les puces AWS Trainium2. Cette version fait tourner huit répliques du modèle sur une seule instance trn2.3xlarge. Pour les traitements hors ligne par lots, comme l’analyse des centres de contact, Deepgram a mesuré une hausse de 11 à 70 % de la quantité d’audio traitée par dollar par rapport à ses anciennes options de calcul. Le travail a consisté à utiliser TorchNeuron pour PyTorch, à remplacer certaines couches par des noyaux personnalisés et à créer un environnement d’exécution en Rust pour éviter la surcharge liée à Python.
Pourquoi c'est important
Les clients de l’API Deepgram peuvent s’attendre à réduire leurs coûts de transcription pour les traitements par lots à grande échelle.
