Deepgram ने अपना Nova‑3 स्पीच-टू-टेक्स्ट मॉडल AWS Trainium2 चिप्स पर पोर्ट किया। इस पोर्ट से एक trn2.3xlarge इंस्टेंस पर मॉडल की आठ प्रतियां चलती हैं। कॉन्टैक्ट-सेंटर एनालिटिक्स जैसे ऑफलाइन बैच जॉब में Deepgram ने अपने पिछले कंप्यूट विकल्पों की तुलना में प्रति डॉलर 11–70% अधिक ऑडियो प्रोसेस किया। इस काम में PyTorch के लिए TorchNeuron का इस्तेमाल, कुछ लेयर्स को कस्टम कर्नेल से बदलना और Python का अतिरिक्त ओवरहेड हटाने के लिए Rust रनटाइम बनाना शामिल था।
यह क्यों मायने रखता है
Deepgram की API इस्तेमाल करने वाले ग्राहक बड़े पैमाने के बैच वर्कलोड में ट्रांसक्रिप्शन की कम लागत की उम्मीद कर सकते हैं।
