Deepgram, Nova-3 konuşmayı metne dönüştürme modelini AWS Trainium2 çiplerine taşıdı. Bu sürüm, tek bir trn2.3xlarge bulut sunucusunda modelin sekiz kopyasını çalıştırıyor. Deepgram, çağrı merkezi analizleri gibi çevrimdışı toplu işlerde, önceki işlem seçeneklerine kıyasla dolar başına %11-70 daha fazla ses işlendiğini ölçtü. Çalışma kapsamında PyTorch için TorchNeuron kullanıldı, bazı katmanlar özel çekirdeklerle değiştirildi ve Python kaynaklı ek yükü önlemek için Rust tabanlı bir çalışma zamanı geliştirildi.
Neden önemli
Deepgram API’sini kullanan müşteriler, büyük ölçekli toplu iş yüklerinde daha düşük transkripsiyon maliyetlerinden yararlanabilir.
