Deepgram flyttade sin tal-till-text-modell Nova‑3 till AWS Trainium2-chip. Portningen gör att åtta instanser av modellen körs på en enda trn2.3xlarge-instans. Vid offlinejobb i batch, till exempel analys av kontaktcenter, uppmätte Deepgram 11–70 % mer bearbetat ljud per dollar jämfört med företagets tidigare beräkningsalternativ. Arbetet innebar att använda TorchNeuron för PyTorch, ersätta lager med specialbyggda kärnor och utveckla en Rust-runtime för att undvika belastningen från Python.
Varför det spelar roll
Kunder som använder Deepgrams API kan räkna med lägre transkriptionskostnader för storskaliga batchjobb.
