NVIDIA heeft Nemotron 3.5 Transcribe uitgebracht, een open-gewichtenmodel dat spraaktranscriptie, vertaling, sprekerlabels en het beantwoorden van vragen over audio combineert in één systeem. Ontwikkelaars kunnen het ophalen via Hugging Face en ModelScope. Met prompts in natuurlijke taal kunnen ze verschillende resultaten opvragen voor dezelfde opname, zoals een transcript met sprekerlabels of een vertaling naar het Engels.
Volgens het bericht op Hugging Face zet het model spraak in 40 talen om naar tekst, vertaalt het 31 talen van en naar het Engels en kan het sprekers labelen in 13 talen, met herkenning van maximaal acht sprekers. Ook ondersteunt het tijdstempels per woord. De functie om vragen over audio te beantwoorden is getraind in het Engels. Het bericht beschrijft opnames van maximaal een uur; SiliconANGLE schrijft dat het model 100 uur audio kan verwerken en daar vragen over kan beantwoorden. De twee bronnen maken niet duidelijk of ze verschillende invoerlimieten of mogelijkheden bedoelen.
Wat laten de benchmarkresultaten zien?
Nemotron 3.5 is een mixture-of-experts-model met 30 miljard parameters, waarvan er op elk moment ongeveer 4 miljard actief zijn. In het bericht van NVIDIA op Hugging Face staat dat het model bovenaan staat bij de open-gewichtenmodellen op het Engelstalige onderdeel van de Hugging Face Open ASR Leaderboard, met een gemiddeld woordfoutpercentage (WER) van 5,33%. Een lager WER betekent minder transcriptiefouten. Volgens het bericht is het gemiddelde WER over zeven talen 4,62% en is het WER op het onderdeel voor lange opnames 10,98%: de laagste scores van de open-gewichtenmodellen in de vergelijking.
Het bericht vermeldt ook resultaten uit andere evaluaties: 2,8% AA-WER op de spraak-naar-tekst-leaderboard van Artificial Analysis, gedeeld de eerste plaats onder open-gewichtenmodellen, en het laagste diarization-foutpercentage op de 21-talige benchmark van David AI. NVIDIA zegt dat fine-tuning voor medische spraak het WER op de Indiase medische-spraakbenchmark van Eka Care terugbracht tot 11,8%. Deze cijfers gelden voor specifieke tests en bieden geen garantie voor de nauwkeurigheid bij elke opname.
Hoe kunnen ontwikkelaars het model aanpassen?
NVIDIA heeft ook Granary v2 uitgebracht, een open meertalige spraakdataset en datapijplijn voor datacuratie, samen met tools voor fine-tuning. De dataset omvat 843,579 uur aan audio uit 19 broncollecties en in 48 talen. De vorige versie bevatte ongeveer 643,000 uur in 25 talen. Ontwikkelaars kunnen de data en tools gebruiken om het model aan te passen aan specialistische woordenschat, accenten of gewenste transcriptformaten. Volgens het bericht op Hugging Face verlaagde fine-tuning in een medische casestudy het WER met 45,8% bij sprekers die buiten de training waren gehouden, vergeleken met de beste prompt.
Het model werkt op één NVIDIA-GPU, van Jetson AGX Thor- en desktop-DGX Spark-systemen tot hardware in datacenters. NVIDIA zegt dat een Blackwell Server Edition-GPU 100 uur audio in minder dan drie minuten verwerkte met gecomprimeerde modelinstellingen. In het bericht op Hugging Face staat dat de test gebruikmaakte van clips van 30 seconden en een hoge gelijktijdigheid. Volgens het bericht is het model bedoeld voor opgenomen audio, niet voor livestreams. NVIDIA raadt aan namen, wisselingen tussen sprekers en antwoorden te controleren aan de hand van de opname.
Waarom het ertoe doet
Ontwikkelaars die tools bouwen voor vergaderingen, lessen of medische dicteeropdrachten kunnen één model uitproberen voor transcripties, sprekerlabels en vertalingen, en het vervolgens fine-tunen voor specialistische termen. De gerapporteerde benchmarkresultaten zeggen niet hoe nauwkeurig het model een specifieke opname verwerkt. Belangrijke namen en antwoorden moeten dus nog steeds worden gecontroleerd.
